文章指出企业AI问答系统使用RAG后仍存在问题，并非RAG本身无价值，而是其涉及知识源、文档解析、切片、Embedding、召回、GraphRAG、生成、合规等多个环节，任一环节出错都会影响最终结果。文章详细分析了各环节常见问题及优化方向，强调RAG优化需全链路考虑，而非仅关注模型本身。

很多企业做 AI 问答系统，第一步都是接知识库、上 RAG。

但真正上线后，业务方经常还是会反馈：

“明明知识库里有，为什么没答出来？”

“它召回了很多内容，但没有一个是关键答案。”

“回答看起来流畅，但口径不对。”

“用了 GraphRAG，为什么还是不好用？”

原因其实很简单：

RAG 不是一个开关，而是一条链路。

只要链路上的任何一个环节有问题，最终答案都会不稳定。

一、先看知识源：知识是不是干净的？

很多企业以为，把文档上传到知识库，就完成了知识建设。

但真实情况往往是：

• 文档过期

• 多个文档口径冲突

• 同一业务不同地区规则不同

• 制度文件太长，没有明确答案

• PDF、Word、Excel、网页格式混杂

• 表格、图片、流程图没有被正确识别

• 很多关键规则只存在于人工经验里，没有沉淀成知识

如果知识源本身是脏的，RAG 只会从脏知识里找答案。

优化方向：

• 清理过期文档

• 建立唯一有效口径

• 标记地区、渠道、时间、适用人群

• 把长制度拆成 FAQ、SOP、政策、话术

• 明确知识更新责任人和更新周期

• 高风险知识增加人工审核

二、文档解析错了，后面都会跟着错

企业知识经常不是干净文本，而是各种复杂格式。

文档解析可能出现

• 标题层级丢失

• 表格错位

• 页眉页脚混入正文

• 目录和编号被当成正文

• 图片里的关键信息没有 OCR

• 流程图没有结构化

• 跨页表格被切断

• 附件关系丢失

如果文档解析错了，后面的切片、Embedding、召回都会被影响。

优化方向

• 对 Word、PDF、Excel 分别制定解析策略

• 表格类知识单独处理

• 流程图转成步骤说明

• 图片内容做 OCR

• 保留标题层级和章节关系

• 对解析结果做抽样检查

三、Chunk 切片要保留业务语义

Chunk 切片是 RAG 里非常容易被低估的一步。

切得太短，语义不完整。

切得太长，噪音太多。

比如一个业务规则包括

• 办理条件、资费说明、限制条款、办理路径

如果切片只切到资费，没有切到限制条件，模型就可能给出错误答案。

优化方向

• 不要只按固定字数切、按业务主题切

• 按 FAQ、SOP、政策、话术分层切

• 按地区、渠道、用户类型加元数据

• 保留父标题和上下文

• 对高频业务单独设计切片规则

四、Embedding 要能理解企业黑话

企业内部有大量行业术语、缩写、产品名、别名。

比如

• “校园卡”、“青春卡”、“学生套餐”、“开学季流量卡”、“19 元那个卡”

业务上可能指向同一类产品，但向量模型不一定理解它们的关系。

优化方向

• 建立业务词典

• 维护同义词表

• 整理产品别名

• 补充用户口语表达

• 引入意图标签和实体标签

• 必要时选择更适合中文和行业语义的 Embedding 模型

五、TopK 不是越大越好

很多人以为召回越多越安全，但不是。

TopK 太小，容易漏掉关键知识。

TopK 太大，容易引入噪音，让模型混淆。

尤其是企业场景里，经常有新旧政策、不同地区政策、不同渠道口径混在一起。

优化方向

• 按意图配置不同 TopK

• 增加时间、地区、渠道过滤

• 先粗召回，再重排

• 对高风险问题提高证据要求

• 对召回结果做相关性打分

• 证据不足时拒答或转人工

六、GraphRAG 不是建了图谱就有用

GraphRAG 能帮助系统理解实体和关系，但前提是图谱本身可靠。

如果实体抽取错、关系定义不清、字段标准不统一，GraphRAG 也会把错误关系放大。

常见问题包括：

• 同一个产品有多个名称，没有合并、实体抽取不准、关系粒度太粗、不同系统字段不一致、图谱更新滞后于业务政策、图谱和文档知识库没有打通、图谱查到关系，但生成答案时说不成人话

优化方向：

• 定义行业实体体系

• 统一字段标准

• 建立实体别名和合并规则

• 明确关系类型

• 设计图谱更新机制

• 处理冲突和重复知识

• 让图谱结果和 RAG 文档互相校验

七、召回正确，不代表回答好

RAG 找到了正确知识，不代表最终答案就好。

生成层还可能出现

• 答案太像制度文件、语气不符合客服场景、回答太长，没有重点、没有下一步动作、没有区分对内和对外口径、涉及费用、合约、投诉时没有风险控制、明明该转人工，却强行回答

优化方向：

• 区分对内员工版和对外客户版

• 为不同意图设计回答模板

• 要求答案给出下一步动作

• 对费用、合约、投诉、办理类问题设置合规规则

• 增加拒答和转人工机制

• 优化 Prompt，让模型基于证据回答，不要自由发挥

八、没有 BadCase 闭环，RAG 永远靠感觉

RAG 系统不是上线就结束，而是要持续迭代。

每个 BadCase 都应该被归因

• 是知识缺失？是知识冲突？是切片问题？是召回失败？是召回噪音？是生成风格问题？是业务规则没配置？是该转人工没转？

优化方向

• 定期抽取线上 BadCase

• 建立错误类型标签

• 沉淀标准问法和标准答案

• 构建评测集

• 每次优化后回归测试

• 优先处理高频、高风险、高投诉问题

九、结论

企业问答上了 RAG 还是不好用，不是因为 RAG 没价值，而是因为 RAG 不是一个单点功能。

它是一整条链路：

知识源 → 文档解析 → Chunk 切片 → Embedding → 检索召回 → Rerank → GraphRAG → Prompt → 生成 → 合规 → 评测迭代

任何一个环节没做好，最终答案都会出问题。

所以优化 RAG，不能只问“模型换不换”。

更应该问

• 知识干净吗？

• 切片合理吗？

• 召回准确吗？

• 图谱可靠吗？

• 生成可控吗？

• 业务口径安全吗？

• BadCase 有没有持续迭代？

一句话总结：

RAG 的核心不是把文档接进大模型，而是把企业知识整理成模型能检索、能理解、能引用、能安全输出的结构化能力。

假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。

接下来告诉你一条最快的邪修路线，

3个月即可成为模型大师，薪资直接起飞。

阶段1:大模型基础

阶段2:RAG应用开发工程

阶段3:大模型Agent应用架构

阶段4:大模型微调与私有化部署

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇