客服是 AI 落地最早也最容易出成绩的场景之一，但同时也是被"人工智障"骂得最狠的场景。过去几年我先后参与过三代客服系统的建设：从关键词规则机器人，到检索式 FAQ，再到基于大模型的坐席助手。三代方案不是简单的替代关系，今天的线上系统往往是三者混合使用。这篇按演进顺序聊聊每代方案的技术要点，以及大模型客服完整的落地架构。

一、三代客服系统的技术演进

第一代规则机器人：意图和话术全部人工配置，状态机控制多轮对话。优点是可控，缺点是维护成本随业务指数级膨胀——某电商客户的规则超过两千条之后，改一条规则要回归测试一周。

第二代检索式 FAQ：把用户问题映射到标准问，用语义匹配解决"同一个问题有一千种问法"。解决率从 30% 提到 60% 以上，是性价比最高的一代。

第三代大模型坐席：理解上下文、生成自然回复、调用业务工具，从"答问题"进化到"办业务"——查订单、改地址、发起退款在一个对话里闭环完成。

二、检索式 FAQ 的基本功不能丢

很多团队跳过检索直接上大模型，结果高频简单问题（"运费多少""怎么开发票"）也要等 LLM 生成，成本高、延迟大，还偶尔答错。正确的姿势是 FAQ 检索兜住高频，大模型处理长尾。检索侧的关键点：

• 知识库按"标准问+相似问"组织，运营每周从会话日志里聚类补充相似问法；
• 召回走双路：BM25 管关键词精确匹配（订单号、型号词），向量管语义泛化；中文向量模型用 BGE 或 M3E 起步，再用自己业务的难例微调，收益很明显；
• 结果分三档：高于阈值直接出答案，中间档给候选问题让用户点选，低于阈值转大模型或人工。

def retrieve_faq(query: str, top_k: int = 5): # 第一路: BM25 关键词召回, 保住订单号/型号等精确词 bm25_hits = bm25_index.search(query, top_k=top_k) # 第二路: 向量语义召回, 解决同义问法 q_vec = encoder.encode(query, normalize=True) vec_hits = milvus.search("faq_collection", q_vec, top_k=top_k) # RRF 融合两路结果, 比单路召回稳定得多 fused = rrf_fuse([bm25_hits, vec_hits], k=60) return [hit for hit in fused if hit.score >= THRESHOLD]

三、大模型坐席助手的架构设计

核心是四个模块：

RAG 知识问答：文档按标题层级切成 300–500 字的块，召回后过 bge-reranker 精排，prompt 里强制要求"仅依据给定资料回答，资料不足就明确说不知道"，并附出处链接，方便用户和客服溯源。

工具调用：查订单、查物流、退换货这些动作定义成 function calling 的工具，模型只负责理解意图和组织语言，关键数据（金额、日期、库存）必须来自工具返回，不允许模型自己编——这是防幻觉最硬的一道闸。

输出护栏：回复发出前再过一道轻量审核：敏感词、竞品词、承诺类话术（"一定""保证""百分百退款"）拦截或改写。

转人工策略：情绪识别命中愤怒、连续两轮未解决、涉及投诉舆情，自动转人工并带上对话摘要，别让机器人硬扛。

工程上还有两个现实问题。一是延迟：用户对客服的耐心大概三秒，RAG 链路整体要控制在 1.5 秒内——召回和重排并行跑，reranker 用 ONNX 量化版，生成端选首 token 延迟低的部署方案（vLLM 或厂商的 turbo 版本），长文档别全塞 prompt，只给重排后的前三块。二是成本分层：简单意图走 7B 级小模型，复杂多轮和工具调用才上大模型，路由用意图分类器加会话轮次判断，我们实测分层之后模型成本降了一半以上，解决率几乎不掉。上线前的验证推荐用历史会话回放：把过去一个月的真实会话批量喂给新系统，对比新旧答案的解决率和违规率，比拍脑袋直接切流量靠谱得多。

四、上线后的指标与知识库运营

| 维度 | 规则机器人 | 检索式 FAQ | 大模型坐席 | | --- | --- | --- | --- | | 意图理解 | 关键词匹配 | 语义相似 | 深层语义+上下文 | | 多轮对话 | 状态机，僵硬 | 弱 | 原生支持 | | 业务办理 | 不支持 | 跳转链接 | 工具调用闭环 | | 知识维护 | 逐条配置 | 标准问+相似问 | 文档入库即用 | | 主要风险 | 答非所问 | 相似问覆盖不足 | 幻觉、越权承诺 | | 单次成本 | 极低 | 低 | 较高 |

上线只是起点，盯四个指标：独立解决率、转人工率、平均会话轮次、满意度邀评。知识库治理要流程化：每周拉取未解决会话，聚类出新问题，分配给业务方补答案，两周内闭环。上线节奏上，先对内部员工开放两周，再切 5% 真实流量灰度，解决率达标后再全量。成本方面，高频问题的答案可以做缓存（问题向量相似加答案模板化），能省掉三成以上的模型调用。

总结与展望

客服的下一步是 Agent 化：从被动应答到主动服务——识别到用户物流延迟主动推送补偿方案，会话中判断流失风险自动生成挽留工单。但不论怎么演进，"答得对"永远排在"答得像人"前面，检索、工具、护栏这三件套一个都省不了。

另外有一个容易被忽视的点：客服系统是少数能直接听到用户原声的地方，会话日志是产品团队的金矿。我们定期把高频不满聚类之后推给产品经理，好几个功能改进和文案修改的源头都来自这里。所以客服系统的价值不应该只算"省了多少人工"，它对产品决策的输入同样值钱，选型和迭代时记得把会话分析能力也纳入规划，别只把它做成一台问答机器。