大语言模型 Agent 已经从论文走向生产环境。然而，随着 Agent 被部署到真实业务场景中，一个反复出现的问题浮出水面：Agent 的核心瓶颈往往不是推理能力，而是验证能力。

一个 Agent 可以规划出完美的步骤、调用准确的工具、生成精美的代码，但如果它无法验证自己的输出是否正确——它就是一个高概率出错的系统。

为什么验证比推理更重要？

推理决定 Agent 能做多少事，验证决定 Agent 做对多少事。

在生产环境中，用户不在乎 Agent 的推理链有多漂亮。他们只关心结果对不对。一个推理能力强但验证能力弱的 Agent，会自信地给出错误答案；而一个推理能力中等但验证能力强的 Agent，会发现自己可能错了并修正。后者显然更可靠。

从数学角度看，Agent 的最终准确率可以近似为：

准确率 ≈ 推理能力 × 验证能力

当验证能力趋近于 0 时，无论推理能力多大，结果都是 0。这解释了为什么许多 Agent 项目在生产环境中表现远低于实验室水平——实验室只测推理，生产环境测的是端到端的正确率。

Agent 验证的三个层面

1. 过程验证（Process Verification）：在每一步行动后验证中间结果是否正确。例如，Agent 调用工具获取数据后，验证数据格式是否符合预期。

2. 结果验证（Result Verification）：在最终输出前验证结论是否回答了用户的问题。例如，代码生成后是否通过了测试。

3. 自我反思（Self-Reflection）：Agent 回顾整个决策过程，发现潜在的逻辑错误或遗漏。这是最高级的验证形式。

论文中的 Agent 验证方法

学术界在过去两年中提出了大量提升 Agent 验证准确度的方法。以下是最核心的几类。

1. Self-Consistency（自一致性）

核心思想：让同一个 Agent 对同一问题生成多条推理路径，通过投票选出最一致的答案。

代表论文：

• Wang et al.,Self-Consistency Improves Chain of Thought Reasoning in Language Models(2022) — 将多数投票与 CoT 结合，在数学推理任务上将准确率提升 14-44%。
• Yao et al.,Agent B: Self-Consistency Verification and Correction with Multiple Agents(2024) — 将自一致性从单一 Agent 扩展到多 Agent 辩论，每个 Agent 独立推理后互相验证。

关键发现：自一致性不是简单的"多次采样取多数"。只有当推理路径足够多样（即使用不同的 CoT prompts）时，投票才有意义。同一提示词重复调用 10 次得到的"一致性"是虚假的。

2. Chain of Verification (CoVE)

核心思想：分四步进行验证——（1）生成初始回答；（2）制定排除干扰信息的验证计划；（3）执行计划生成独立二次回答；（4）对比两次回答并修正差异。

代表论文：

• Kuhn et al.,Chain-of-Verification Reduces Hallucination in Large Language Models(FAIR, 2023) — 在多项基准测试中将幻觉率降低 14-31%。

关键发现：CoVE 的威力不在于"多生成一次"，而在于"制定验证计划"这一步。如果没有明确的验证计划，第二次生成只是重复第一次的错误。

3. Tree of Thoughts (ToT)

核心思想：将推理过程建模为树状结构，在每个节点进行自我评估，选择最有希望的分支继续扩展。

代表论文：

• Yao et al.,Tree of Thoughts: Deliberate Problem Solving with Large Language Models(2023) — 在 Game of 24 和 Creative Writing 任务上显著超越 CoT。

关键发现：ToT 的评估函数（evaluation function）是成败关键。如果评估函数不够 discriminative（无法区分好路径和坏路径），搜索就失去了意义。论文建议使用"self-assessed solvability"作为评估标准，让模型自己判断某个中间状态是否值得继续探索。

4. Decomposed Prompting (DPR)

核心思想：将复杂问题分解为多个子任务，每个子任务由独立的 prompt 处理，最后将结果聚合。每个子任务的输出都可以独立验证。

代表论文：

• Wang et al.,Decomposed Prompting: A Modular Approach for Improving Large Language Model Capabilities(Microsoft, 2022) — 通过将任务模块化，每个模块专注一个子能力，提升了整体准确率。

关键发现：DPR 的本质是将验证从"黑盒整体验证"变为"白盒逐段验证"。当每个子任务足够小时，验证其正确性的难度呈指数级下降。

5. Self-Refine 与 Self-Correction

核心思想：先生成初始结果，然后通过反馈循环自我改进。

代表论文：

• Madaan et al.,Self-Refine: Iterative Refinement with Self-Feedback(2023) — 让模型对自己生成的代码/文本进行批评和改进，迭代 2-3 轮后性能显著提升。
• Liu et al.,Self-Correction: Self-Supervised Debugging for LLMs(2024) — 系统化地研究 self-correction 的有效性边界。

关键发现：Self-Refine 的效果取决于"反馈质量"。如果模型在第一步犯了事实性错误，后续的 refinement 很难纠正。因此，先验证再改进比先改进再验证更有效。

6. LLM-as-a-Judge

核心思想：用一个 LLM 作为裁判来评估另一个 LLM 的输出质量。

代表论文：

• Zheng et al.,Judging LLM-as-a-Judge with MT-Bench(2023) — 系统化研究了用 LLM 做评估的偏差来源和缓解方法。
• Kim et al.,ShareGPT4All: Training LLMs with Trajectory Rewards(2023) — 将验证信号转化为训练数据，形成闭环。

关键发现：LLM-as-a-Judge 存在位置偏差、verbosity bias（偏好冗长回答）、和一致性偏差。Zheng 等人的研究提出了对抗性配对评估（A/B 和 B/A 各评一次取平均）来缓解这些问题。

7. Multi-Agent Debate

核心思想：多个 Agent 角色互相辩论，通过对抗性验证收敛到正确答案。

代表论文：

• Li et al.,Can LLMs Role-Play? Multi-Agent Debate in Cooperative Game(2023) — 展示了多 Agent 辩论在推理任务上的优势。
• Agent B（Yao et al., 2024）— 将多 Agent 辩论与 self-consistency 结合，每个 Agent 独立验证其他 Agent 的输出。

关键发现：多 Agent 辩论不是简单的"人多力量大"。当 Agent 被赋予不同角色（如"质疑者"、“辩护者”、“裁判”）时，验证效果最佳。同质化的多 Agent 反而会产生"回声室效应"。

日常使用中的验证实践

论文提供了理论基础，但落地需要工程实践。以下是经过验证的实用方法。

1. 结构化验证管道

不要依赖单次输出来做决策。建立一个多阶段验证管道：

生成 → 语法验证 → 逻辑验证 → 事实验证 → 人工审核

每一层都应该有明确的 pass/fail 标准。只有全部通过的输出才能进入下一环节。

2. 工具调用后的即时验证

Agent 调用外部工具（API、数据库、搜索引擎）后，必须立即验证返回结果：

• 格式验证：JSON 是否合法？字段是否齐全？
• 范围验证：数值是否在合理范围内？
• 一致性验证：与之前的调用结果是否矛盾？

例如，Agent 调用搜索 API 获取数据后，应该检查返回的数据量是否与预期一致、时间戳是否合理。

3. 使用"验证 Prompt"而非"生成 Prompt"

将生成和验证分离到不同的 prompt 中：

# 生成 promptgenerate_prompt="请回答以下问题：{question}"# 验证 prompt（独立）verify_prompt="""请验证以下答案的正确性。 从以下几个角度检查： 1. 事实准确性 2. 逻辑一致性 3. 是否回答了原始问题 答案：{answer}"""

关键原则：验证者不应该知道原始 prompt 的内容，否则会产生确认偏误。

4. 交叉验证（Cross-Validation）

对关键任务使用多个独立的 Agent 或模型进行交叉验证：

• 同一个问题，用 GPT-4o 和 Claude 分别回答，比较一致性
• 同一个 Agent，用不同的 temperature 运行多次，观察输出分布
• 如果两个独立来源的结果一致，置信度大幅提升

5. 自动化测试驱动

对于代码生成类 Agent，验证的标准是"能否通过测试"。建立自动化测试套件：

• 单元测试：验证每个函数/方法的正确性
• 集成测试：验证模块间的协作
• 回归测试：确保修改不会破坏已有功能

6. 人类在环（Human-in-the-Loop）

对于高风险场景，永远保留人工审核环节：

• 主动学习：将人工审核的结果反馈给 Agent，持续改进
• 置信度阈值：当 Agent 的自我评估置信度低于阈值时，自动转人工
• 抽样审核：对一定比例的输出进行随机人工审核，监控整体质量

7. 日志与可追溯性

验证的前提是可追溯。确保每一步操作都有完整的日志：

• 输入输出对
• 调用的工具和参数
• 中间推理步骤
• 验证决策和理由

这不仅有助于事后分析，也是持续改进的基础。

结语

验证不是 Agent 的"附加功能"，而是 Agent 的"核心能力"。

一个没有验证能力的 Agent，就像一辆没有刹车的跑车——速度越快，危险越大。而一个拥有强大验证能力的 Agent，即使推理能力有限，也能通过反复检查和修正达到可靠的输出质量。

在 Agent 落地的过程中，与其追求更复杂的推理架构，不如先夯实验证基础。因为最终，用户不会为你的推理链鼓掌，他们只会为正确的结果买单。

Validation is all you need.

参考资料

• Wang et al.,Self-Consistency Improves Chain of Thought Reasoning in Language Models, ICLR 2023
• Kuhn et al.,Chain-of-Verification Reduces Hallucination in Large Language Models, FAIR, 2023
• Yao et al.,Tree of Thoughts: Deliberate Problem Solving with Large Language Models, NeurIPS 2023
• Wang et al.,Decomposed Prompting: A Modular Approach for Improving Large Language Model Capabilities, Microsoft, 2022
• Madaan et al.,Self-Refine: Iterative Refinement with Self-Feedback, NeurIPS 2023
• Zheng et al.,Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023
• Yao et al.,Agent B: Self-Consistency Verification and Correction with Multiple Agents, 2024
• Liu et al.,Self-Correction: Self-Supervised Debugging for LLMs, 2024
• Li et al.,Can LLMs Role-Play? Multi-Agent Debate in Cooperative Game, 2023