用通俗易懂的方式讲解：结合检索和重排序模型，改善大模型 RAG 效果明显

最近出现了在构建聊天机器人方面的应用浪潮，这主要得益于LlamaIndex 和 LangChain 这样的框架。许多这类应用都采用了用于检索增强生成（RAG）的标准技术栈，其中包括以下关键步骤：

  1. 向量存储库： 使用向量存储库来存储非结构化文档，即知识语料库。

  2. 检索模型： 针对查询使用检索模型，通过嵌入相似性检索语料库中的相关文档。

  3. 回答模型： 使用合成模型生成响应，结合检索和生成的优势，提高聊天机器人的效果。

RAG关键优势在于在生成响应时结合了检索和生成的优势，从而提高了聊天机器人的性能。 但此种流程也存在的不足之处，如不够精确、可能返回不相关的上下文等问题。

改进方向：重排序改进

什么是重排序？

重排序是信息检索系统中的一个重要步骤，它发挥着优化检索结果的关键作用。在初始检索阶段，系统根据某种标准（如相似度）返回一组文档。然而，由于初始排序可能并不总是能够准确反映文档与查询的真实相关性，因此需要进行重排序来提升检索结果的质量。

图片

不同的重排序方法

  • 使用检索模型进行二次检索：一种常见的重排序方法是使用检索模型进行二次检索。在初始检索后，通过利用更复杂的模型，例如基于嵌入的检索模型，可以再次检索相关文档。这有助于更精确地捕捉文档与查询之间的语义关系。

  • 使用交叉模型进行打分：另一种方法是利用交叉模型进行文档打分。这种模型可以考虑文档和查询之间的交互特征，从而更细致地评估它们之间的关联度。通过结合不同特征的交互，可以得到更准确的文档排序。

  • 利用大模型进行重排序：大型语言模型（LLM）等大模型的崛起为重排序提供了新的可能性。这些模型通过对整个文档和查询进行深层次的理解，能够更全面地捕捉语义信息。

通俗易懂讲解大模型系列

  • 用通俗易懂的方式讲解：基于扩散模型（Diffusion）,文生图 AnyText 的效果太棒了

  • 用通俗易懂的方式讲解：在 CPU 服务器上部署 ChatGLM3-6B 模型

  • 用通俗易懂的方式讲解：ChatGLM3-6B 功能原理解析

  • 用通俗易懂的方式讲解：使用 LangChain 和大模型生成海报文案

  • 用通俗易懂的方式讲解：一个强大的 LLM 微调工具 LLaMA Factory

  • 用通俗易懂的方式讲解：ChatGLM3-6B 部署指南

  • 用通俗易懂的方式讲解：LangChain Agent 原理解析

  • 用通俗易懂的方式讲解：HugggingFace 推理 API、推理端点和推理空间使用详解

  • 用通俗易懂的方式讲解：使用 LangChain 封装自定义的 LLM，太棒了

  • 用通俗易懂的方式讲解：使用 FastChat 部署 LLM 的体验太爽了

  • 用通俗易懂的方式讲解：基于 Langchain 和 ChatChat 部署本地知识库问答系统

  • 用通俗易懂的方式讲解：使用 Docker 部署大模型的训练环境

  • 用通俗易懂的方式讲解：在 Ubuntu 22 上安装 CUDA、Nvidia 显卡驱动、PyTorch等大模型基础环境

  • 用通俗易懂的方式讲解：Llama2 部署讲解及试用方式

  • 用通俗易懂的方式讲解：LangChain 知识库检索常见问题及解决方案

  • 用通俗易懂的方式讲解：基于 LangChain 和 ChatGLM2 打造自有知识库问答系统

  • 用通俗易懂的方式讲解：代码大模型盘点及优劣分析

  • 用通俗易懂的方式讲解：Prompt 提示词在开发中的使用

技术交流

建了AIGC大模型技术交流群！ 想要学习、技术交流、获取如下原版资料的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：来自CSDN + 技术交流

在这里插入图片描述

方法1：交叉模型进行重排序

与嵌入模型不同，重新排序器使用问题和文档作为输入，直接输出相似度而不是嵌入。通过将查询和段落输入到重新排序器中，你可以获得相关性分数。重新排序器是基于交叉熵损失进行优化的，因此相关性分数不受限于特定范围。

BGE Reranker

https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/reranker

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('BAAI/bge-reranker-large')
model = AutoModelForSequenceClassification.from_pretrained('BAAI/bge-reranker-large')
model.eval()

pairs = [['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']]
with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)

这个重新排序器是从xlm-roberta-base初始化的，并在混合的多语言数据集上进行训练：

  • 中文：来自T2ranking、MMmarco、dulreader、Cmedqa-v2和nli-zh的788,491个文本对。

  • 英文：来自msmarco、nq、hotpotqa和NLI的933,090个文本对。

  • 其他语言：来自Mr.TyDi的97,458个文本对（包括阿拉伯语、孟加拉语、英语、芬兰语、印度尼西亚语、日语、韩语、俄语、斯瓦希里语、泰卢固语、泰语）。

CohereRerank

# pip install cohere

import cohere
api_key = ""
co = cohere.Client(api_key)

query = "What is the capital of the United States?"
docs = [
    "Carson City is the capital city of the American state of Nevada. At the 2010 United States Census, Carson City had a population of 55,274.",
    "The Commonwealth of the Northern Mariana Islands is a group of islands in the Pacific Ocean that are a political division controlled by the United States. Its capital is Saipan.",
    "Charlotte Amalie is the capital and largest city of the United States Virgin Islands. It has about 20,000 people. The city is on the island of Saint Thomas.",
    "Washington, D.C. (also known as simply Washington or D.C., and officially as the District of Columbia) is the capital of the United States. It is a federal district. The President of the USA and many major national government offices are in the territory. This makes it the political center of the United States of America.",
    "Capital punishment (the death penalty) has existed in the United States since before the United States was a country. As of 2017, capital punishment is legal in 30 of the 50 states. The federal government (including the United States military) also uses capital punishment."]
    
results = co.rerank(query=query, documents=docs, top_n=3, model='rerank-english-v2.0') # Change top_n to change the number of results returned. If top_n is not passed, all results will be returned.

实验结果

从数据中清晰可见重新排序器在优化搜索结果方面的重要性。几乎所有嵌入都受益于重新排序，表现出改善的命中率和MRR。

图片

  • bge-reranker-large：对于多个嵌入，该重新排序器经常提供了最高或接近最高的MRR，有时其性能与CohereRerank相媲美甚至超过。

  • CohereRerank：在所有嵌入上一致提升性能，往往提供最佳或接近最佳的结果。

方法2：大模型进行重排序

现有的涉及LLM的重排方法大致可以分为三类：用重排任务微调LLM，使用prompt让LLM进行重排，以及利用LLM做训练数据的增强。

图片

如下表所示，所有模型都重新排名相同的BM25前100个段落。使用gpt-4重新排名由gpt-3.5-turbo重新排名的前30个段落。

图片

参考文献

  • https://arxiv.org/pdf/2304.09542.pdf

  • https://arxiv.org/pdf/2308.07107v2.pdf

  • https://blog.llamaindex.ai/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83

  • https://blog.llamaindex.ai/using-llms-for-retrieval-and-reranking-23cf2d3a14b6

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/296269.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

状态机（有限状态机（Finite State Machine, FSM）、推进自动机（Pushdown Automata）、并发状态机、分层状态机）

状态机（有限状态机（Finite State Machine, FSM）、推进自动机（Pushdown Automata）、并发状态机、分层状态机）

文章目录 状态机（State Machine）定义与组成定义组成状态（States）事件（Events）转换（Transitions）初始状态（Initial State） 状态机的类型有限状态机&#xff08…
阅读更多...
网络调试 UDP1，开发板用静态地址-入门6

网络调试 UDP1，开发板用静态地址-入门6

https://www.bilibili.com/video/BV1zx411d7eC?p11&vd_source109fb20ee1f39e5212cd7a443a0286c5 1, 开发板连接路由器 1.1，烧录无OS UDP例程 1.2，Mini USB连接电脑 1.3，开发板LAN接口连接路由器 2. Ping开发板与电脑之间通信* 2.1 根据…
阅读更多...
某金属加工公司的核心人才激励体系搭建项目纪实

某金属加工公司的核心人才激励体系搭建项目纪实

【客户行业】金属加工行业 【问题类型】薪酬体系/激励体系 【客户背景】 某大型金属加工企业位于河北地区，成立于2000年，隶属于某大型有色金属集团，是一家集科研、开发、生产、销售于一体的国有企业，人员达到1000人。经过多年…
阅读更多...
【Redis端口】通过修改端口一个计算机上可以运行两个redis

【Redis端口】通过修改端口一个计算机上可以运行两个redis

一个计算机上可以运行多个Redis实例。每个Redis实例都会监听一个特定的端口，所以只要确保每个实例使用的端口不冲突，就可以在同一台计算机上运行多个Redis实例。例如，你可以配置一个Redis实例监听6379端口，另一个Redis实例监听638…
阅读更多...
阿里云服务器配置jupyter（新手入门，详细全面）

阿里云服务器配置jupyter（新手入门，详细全面）

设置安全组 1.租好服务器后在阿里云服务器平台上打开控制台（右上角） 2.点开自己的云服务器控制台，在左栏“安全组”部分添加安全规则，点击“管理规则” 单击“手动添加”，将安全组设为如下格式，端口范围…
阅读更多...
Java经典框架之Dubbo

Java经典框架之Dubbo

Dubbo Java 是第一大编程语言和开发平台。它有助于企业降低成本、缩短开发周期、推动创新以及改善应用服务。如今全球有数百万开发人员运行着超过 51 亿个 Java 虚拟机，Java 仍是企业和开发人员的首选开发平台。 课程内容的介绍 1. Dubbo概述 2. Dubbo基本应用 3…
阅读更多...
React基础应用及常用代码

React基础应用及常用代码

目录 基础知识 babel.config.js js,html,css,Vue,react,angular,nodejs,webpack,less,ES6,commonjs等的关系 ECMAScript 6（ES6） let、const、var 的区别 Webpack、npm、node关系 props和state区别 通用框架类 ES 6 export React React.Fragm…
阅读更多...
【LLM】大型语言模型：2023年完整指南

【LLM】大型语言模型：2023年完整指南

Figure 1: Search volumes for “large language models” 近几个月来，大型语言模型（LLM）引起了很大的轰动（见图1）。这种需求导致了利用语言模型的网站和解决方案的不断开发。ChatGPT在2023年1月创下了用户群增长最快…
阅读更多...
thinkphp学习04-控制器定义

thinkphp学习04-控制器定义

控制器，即 controller，控制器文件存放在 controller 目录下； 如果想改变系统默认的控制器文件目录，可以在 config 下 route.php 配置： 将controller修改为controller123，就会报错，说明这个配置…
阅读更多...
【大数据进阶第三阶段之Hive学习笔记】Hive安装

【大数据进阶第三阶段之Hive学习笔记】Hive安装

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive基础入门-CSDN博客 【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化-CSDN博客 …
阅读更多...
Linux与安全

Linux与安全

本心、输入输出、结果 文章目录 系统设计 - 我们如何通俗的理解那些技术的运行原理 - 第八部分：Linux、安全 前言 Linux 文件系统解释应该知道的 18 个最常用的 Linux 命令HTTPS如何工作？ 数据是如何加密和解密的？为什么HTTPS在数据传输过程…
阅读更多...
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器

【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器

目录 一. 贡献概述 二. 方法详解 a) 训练阶段 b) 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（Stable Diffusion）模型可…
阅读更多...
vue3项目中axios的常见用法和封装拦截(详细解释)

vue3项目中axios的常见用法和封装拦截(详细解释)

1、axios的简单介绍 Axios是一个基于Promise的HTTP客户端库，用于浏览器和Node.js环境中发送HTTP请求。它提供了一种简单、易用且功能丰富的方式来与后端服务器进行通信。能够发送常见的HTTP请求，并获得服务端返回的数据。 此外，Axios还提供…
阅读更多...
用js计算 m-n 之间所有数的和

用js计算 m-n 之间所有数的和

<script>let mprompt(输入小值)let nprompt(输入大值)function fn(min,max){let sum0for(let imin;i<max;i){sumi}return sum}let allfn(m,n)console.log(和&#xff1a;${all})</script> 效果&#xff1a;
阅读更多...
【elfboard linux开发板】7.i2C工具应用与aht20温湿度寄存器读取

【elfboard linux开发板】7.i2C工具应用与aht20温湿度寄存器读取

1. I2C工具查看aht20的温湿度寄存器值 1.1 原理图 传感器通过IIC方式进行通信&#xff0c;连接的为IIC1总线&#xff0c;且设备地址为0x38&#xff0c;实际上通过后续iic工具查询&#xff0c;这个设备是挂载在iic-0上 1.2 I2C工具 通过i2c工具可以实现查询i2c总线、以及上面…
阅读更多...
C#，入门教程(11)——枚举（Enum）的基础知识和高级应用

C#，入门教程(11)——枚举（Enum）的基础知识和高级应用

上一篇&#xff1a; C#&#xff0c;入门教程(10)——常量、变量与命名规则的基础知识https://blog.csdn.net/beijinghorn/article/details/123913570 不会枚举&#xff0c;就不会编程&#xff01; 枚举 一个有组织的常量系列 比如&#xff1a;一个星期每一天的名字&#xf…
阅读更多...
鸿蒙开发之拖拽事件

鸿蒙开发之拖拽事件

一、拖拽涉及的方法 Text(this.message).fontSize(50).fontWeight(FontWeight.Bold)//拖拽开始.onDragStart((event: DragEvent) > {console.log(drag event onDragStartevent.getX())})//拖拽进入组件范围&#xff0c;需要监听onDrop配合.onDragEnter((event: DragEvent) …
阅读更多...
backtrader框架初探，轻松跑通策略并策略分析

backtrader框架初探，轻松跑通策略并策略分析

网上有很多backtrader的文章&#xff0c;并有些将其与vnpy做比较&#xff0c;经过安装后发现&#xff0c;还是backtrader教程简单。 1、前期准备 # 安装akshare免费行情源 pip install akshare -i http://mirrors.aliyun.com/pypi/simple/ --trusted-hostmirrors.aliyun.com …
阅读更多...
前端--基础 常用标签 - ( 内部链接，空链接，下载链接，网页元素连接）

前端--基础 常用标签 - ( 内部链接，空链接，下载链接，网页元素连接）

链接分类 &#xff1a; 外部链接 内部链接 空链接 下载链接 网页元素链接 内部链接 &#xff1a; 即 网站内部页面之间的相互链接&#xff0c;直接点击 链接内部页面名称即可 所谓内部链接&#xff0c;就是在同一个网站里面&#xff0c;有许多链接&#xff0c;当你在 a…
阅读更多...
Scrum的工件

Scrum的工件

我们采用了Scrum进行开发方面的管理&#xff0c;那么所有的计划和工作都应该是透明的&#xff0c;这给了我们检查这些东西的机会&#xff0c;以便能够即时做出调整来适应即将发生的变化。 那么Scrum为我们设计了一些工件帮助我们检查我们的工作和计划&#xff0c;每个工件都有…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站