RAG - Charlie

📅 2026/7/31 22:18:04 👁️ 阅读次数 📝 编程学习
RAG - Charlie

文本切割的方式有哪些?

  • 按照固定大小切割
  • 按照句子语义切割:有?、。!;为句子的结尾
  • 按照句子语义和固定大小同时切割,并设置ChunkSize(一般是300多少个字符)和ChunkOverlap(与上一个重叠的字符数量)

RAG检索提高精准度

  • 检索层优化
    • 稠密向量擅长进行语义理解
    • 使用稀疏检索和关键词匹配来对对专有名词、日期、数字这类精准匹配
    • 们可能会召回更多的topK然后对topK进行关键词匹配,最后再借助于重排序LLM进行重排序。
  • 温度调整
    • 0.1~0.2,较低的温度可以让大模型没有那么高的创造性
  • 引用溯源
    • 模型通过上下文中的chunk生成答案之后,要告诉用户这个回答是基于哪个文档中的哪个内容来得出的。