RAG-day2

📅 2026/7/7 14:53:34 👁️ 阅读次数 📝 编程学习
RAG-day2

一、文本分块

  1. 作用:长文档不能直接喂给大模型,必须切成小块,避免超出上下文限制、检索更精准。
  2. 常见分块方式:固定大小分块、按段落分块、按语义分块。
  3. 分块原则:块不能太大(冗余多)、不能太小(语义不完整)。

二、向量化与嵌入模型

  1. 嵌入模型(Embedding 模型):专门负责把文本转成向量的模型。
  2. 特点:语义越相似的文本,转化后的向量数值越接近。
  3. 作用:是语义检索的基础,没有向量化就做不了语义匹配。

三、向量数据库

  1. 定义:专门用来存储向量、快速做相似度检索的数据库。
  2. 和普通数据库区别:普通库适合精确匹配;向量库适合语义相似度匹配
  3. 常见用途:存放文档块向量、用户问题向量,供 RAG 快速检索。

四、RAG 细化完整链路(含隐藏子步骤)

文档接入→ 文本分块→ 嵌入模型向量化→ 向量入库(存向量数据库)→ 用户提问向量化→ 向量库语义检索→ 拼接检索片段 + 用户提示词→ 大模型增强生成答案

五、语义检索核心逻辑

  1. 用户问题 → 转向量
  2. 和向量库里所有文档块向量算相似度
  3. 取出相似度最高的 Top-N 片段
  4. 作为参考资料给大模型