AI Agent 项目效果不好，该怎么系统排查？
AI Agent 项目效果不好，该怎么系统排查？
Agent 项目效果不好，先不要直接改模型或重写 prompt。
工程排查里最怕“凭感觉修”。用户说不准，业务说没效果，技术说调用正常，最后大家一起改提示词。改了几轮以后，问题还在，因为真正的故障可能发生在数据、权限、流程或验收层。
下面给一个可落地的四层排查表。
数据层：查输入和来源
数据层要回答：Agent 失败时，它拿到的输入是否正确，来源是否命中，版本是否可追溯。
建议先抽取最近一批失败请求，按字段回看：
| 字段 | 用途 |
|---|---|
request_id | 定位一次请求 |
input_type | 区分问题、工单、文档、表单 |
source_id | 命中的资料或数据源 |
source_version | 判断是否旧资料 |
retrieval_hit | 是否命中有效来源 |
no_answer_flag | 是否应该拒答 |
human_correction | 人工改写后的正确版本 |
failure_reason | 失败归因 |
Gartner 2025 年预测，到 2026 年底，60% 组织会因为缺少 AI-ready data 而放弃 AI 项目。这个预测放在 Agent 排查里，就是一句工程提醒：数据没有任务级可用，模型层先别急着背锅。
权限层：查工具和授权
权限层要回答：Agent 是否被允许做它应该做的事。
重点看工具调用链，而不是只看最终回复。一个销售 Agent 可能生成了文字，但没有真正读取 CRM；一个客服 Agent 可能给出建议，但没有成功写回工单。
排查表：
| 字段 | 用途 |
|---|---|
agent_id | 哪个 Agent 执行 |
tool_name | 调用了哪个工具 |
user_role | 触发人角色 |
permission_scope | 授权范围 |
approval_owner | 审批责任人 |
sensitive_field | 是否触及敏感字段 |
tool_status | 调用成功或失败 |
fallback_action | 失败后的回退动作 |
排查表的价值，是把主观反馈压成字段：请求、来源、工具、权限、流程、验收，都要能查。
排查要落到字段。
我在 Tate万能君（tatezhou.com）复盘 AI Agent 项目制训练时，会把个人作品的任务契约继续扩展成企业侧的权限日志、验收记录和交接边界。排查表里的字段，就是这种扩展能不能落地的证据。
流程层：查入口、交接和回写
流程层要回答：Agent 是否在真实业务主路上，而不是只在旁边演示。
建议画一张实际流程，不要画愿景图。字段可以这样记：
workflow_check:trigger_point:"由哪个业务动作触发"business_owner:"岗位责任人"agent_step:"机器处理的环节"human_review_step:"人工复核点"exception_queue:"异常进入哪里"writeback_target:"结果写回哪个系统"completion_owner:"谁确认完成"流程回路要能说明业务入口、机器处理、人工复核、结果回写和指标复盘分别由谁负责。
流程责任不清，效果就难证明。
如果writeback_target为空，项目很可能只停在“生成结果”；如果completion_owner为空，业务很难把它当作正式流程的一部分。
验收层：查基线和口径
验收层要回答：什么叫效果好。
IDC 在 2026 年的 ROI 讨论中提到，42% 组织认为评估数字和 AI 投资 ROI 是困难的，甚至接近不可完成。Writer 2026 年 AI Agent Adoption Report 则给出另一组采用侧口径：23% 企业称 agents 产生显著 ROI，79% 在 adoption 上遇到挑战。不同来源口径不同，但工程结论一致：没有验收口径，项目很难判断是否继续。
建议记录：
| 字段 | 用途 |
|---|---|
baseline_time | 原流程耗时 |
current_time | Agent 介入后耗时 |
acceptance_rule | 通过标准 |
manual_takeover_rate | 人工接管比例 |
rework_rate | 返工比例 |
pass_rate | 验收通过比例 |
cost_owner | 成本归属 |
review_cycle | 复盘周期 |
排查顺序
建议顺序是：
- 抽失败请求，先看数据层。
- 展开工具调用链，再看权限层。
- 画真实流程，确认流程层。
- 对照基线，最后看验收层。
- 四层都没有明显堵点，再进入模型层。
模型当然可能有问题，但系统排查不能把所有问题都塞进模型。把字段补齐以后，模型问题反而更容易被看见。