让 AI 的幻觉止步于业务执行之前-AgentCore OS 不承诺让模型永远不出错。它关注的是另一件更工程化的事:让未经验证的生成结果,不能直接越过业务边界并产生真实后果。

📅 2026/7/13 6:05:32 👁️ 阅读次数 📝 编程学习
让 AI 的幻觉止步于业务执行之前-AgentCore OS 不承诺让模型永远不出错。它关注的是另一件更工程化的事:让未经验证的生成结果,不能直接越过业务边界并产生真实后果。

大模型进入真实业务后,最危险的并不总是拒绝回答,而是它给出一段形式正确、读起来合理、实际上没有依据的结论。例如,销售 Agent 声称客户预算充足、采购时间明确;如果原始询盘从未提供这些信息,随后却自动创建报价、更新 CRM、发送邮件,这一次生成错误就已经变成真实业务动作。模型输出不必绝对可靠,但系统必须保证:不可靠的输出不能未经验证就成为真实业务事实。

从“会不会回答”转向“能不能可靠执行”:模型解决“能不能生成”;Skill 解决“应该怎么做”;AI 壳解决“从哪里使用”。当 AI 进入销售、客服、研究和内容发布等流程,还需要一层执行控制:它必须按经过确认的规则执行,对关键后果停下来等待判断,并留下可审计的记录。因此,AgentCore OS 的工程重心已转向 Controlled Skill / Playbook Runtime。旧的桌面 UI、业务 App、知识资产和方案中心仍然存在,但它们承担操作与业务呈现;Runtime 负责控制执行本身。

受控运行链路

这套链路用确定性的执行骨架包裹概率性的生成节点。模型可以在指定步骤中理解、提取或生成,但不能默认决定下一步,也不能把建议直接变成外部动作。

  1. 场景匹配:选择已注册的 Playbook 与固定步骤。
  2. 计划校验:校验顺序、依赖、模式和输出合同。
  3. 逐步执行:记录输入、输出、工具结果和失败状态。
  4. 工具边界:只允许步骤声明过的工具能力。
  5. 人工审批:关键节点进入等待审批状态,而不是继续后台执行。
  6. Trace 与写回:保存证据、审批与资产落点,支持复盘和恢复。

当前 Runtime 已将销售和客服两条正式 Playbook 纳入受控执行。步骤可以定义输入输出 Schema、执行模式、允许与禁止的工具、验收标准、审批要求、失败策略和写回目标。这样,业务 SOP 不再只是提示词中的建议,而成为 Runtime 可以验证的执行合同。

“可控”不等于“模型永远正确”

流程可控:步骤、顺序、依赖、工具范围、审批点和失败策略由 Playbook 与 Runtime 决定。模型不能因为“判断客户意向很强”就跳过审核,或把本来只允许生成草稿的步骤改成直接发送邮件。

业务后果可控:结构化草稿可以先保存在低信任区域供人检查。涉及客户承诺、报价、政策例外、退款、正式回复和知识沉淀的结果,则需要经过审批或确定性规则,才有资格进入受保护动作或高信任资产。

事实正确仍需证据:Schema 能确认字段是否齐全,却不能单独证明“客户预算充足”是真的;人工审批可以降低风险,也不代表它是正确性的终点。事实控制还需要可追溯数据源、字段级引用、确定性业务规则、多源校验和证据不足时的主动阻断。

准确的表述是:我们控制的不是模型是否产生错误,而是模型错误能否轻易越过业务边界。

与 Skill、AI 壳和 n8n 的区别

对象主要价值默认控制方式
普通 Skill沉淀提示、SOP 与工具说明多数约束仍由模型解释和遵守
AI OS / Agent 壳组织会话、窗口与应用入口改善交互,但不等于持久执行控制
n8n连接系统、编排自动化与数据流工作流设计者通过节点定义流程
AgentCore OS约束 AI 的业务执行、审批、Trace 与资产沉淀注册 Playbook 与 Runtime 共同决定流程和边界

n8n 在连接器、凭证管理、队列执行、部署扩容和通用自动化生态上更成熟。AgentCore OS 不把自己定位为另一个 n8n,也不在通用节点数量上竞争。更合理的组合是:AgentCore OS 管理 Playbook、审批、Trace、业务资产与 AI 治理;n8n 作为连接器和自动化执行层,处理 SaaS 集成、Webhook、消息投递和跨系统同步。

当前已经实现的闭环

  • 销售和客服两条固定 Playbook 已注册并可执行。
  • 执行前会校验步骤顺序、依赖、工具、模式和 Schema。
  • Controlled Run、Step 与 Approval 具有持久记录;断流或审批中断后可以继续恢复。
  • 失败步骤可以根据策略重试或进入人工处理。
  • 批准后的结果可以写入销售、客服、知识、草稿和工作流资产。
  • Runtime Console 可以查看运行、审批、失败恢复、资产落点与脱敏 Trace。

当前服务端持久层以本地 JSON Store 为主,已具备进程内互斥、跨进程锁、临时文件替换和备份恢复能力。这适合本地优先的开发和交付演示,但不等同于面向大规模并发的数据库或分布式状态系统。

我们仍然没有完成什么

截至本文发布,AgentCore OS 的定位是 local delivery demo ready,而不是 production ready。核心受控链路已经形成,但真实模型与真实工具 Replay、生产级凭证隔离与副作用阻断、更强的事务和并发能力、长期监控和事故处理仍在持续建设中。这并不否定当前架构的价值,反而决定了我们应当如何描述它:这是一套已经跑通关键控制闭环的本地优先 AI 业务 Runtime,而不是已经完成所有生产化工作的通用平台。

下一阶段:走向证据驱动的 AI Runtime

下一阶段的重点,是把控制力从流程层推进到事实层、运行层和组织治理层。关键业务字段将逐步关联来源、引用、时间与可信度;确定性 Validator 与 Policy Engine 会承担更多业务规则判断;真实 Replay 将在隔离沙箱中比较版本与策略变化;风险自适应的人机协作将根据证据完整度和业务风险决定自动执行、抽样复核、强制审批或拒绝执行。

不要要求模型永不犯错,要让系统能够承受模型犯错。