当 AI 智能体失败时

随着 AI 智能体被设计为能够代表用户独立运行，一个关键问题随之出现：

• 我们如何确认它们确实正确地完成了任务？
• 我们又该如何确保它们不会以意外或有害的方式行动？

虽然 AI 智能体功能强大，但它们并不完美，也确实会犯错。
作为系统的构建者，我们有责任尽量降低这些风险，并确保智能体的行为可靠。

接下来将讨论：
如何通过**评估（evals）来减少错误，
以及为什么护栏（guardrails）**对于维持质量与安全至关重要。

构建 AI 智能体时的核心挑战

在开发 Agentic AI 系统时，有几个内在挑战必须被认真处理。

• 幻觉（Hallucination）
  由于大语言模型充当了智能体的“大脑”，因此会存在幻觉风险。
  如果 LLM 基于错误、虚假或误导性的信息生成计划，那么智能体后续采取的行动也会建立在错误基础之上。

• 非确定性（Non-Determinism）
  AI 智能体并不是按照一套固定指令运行的。
  这意味着，它们解决同一个问题时所采取的路径，可能每次执行都不一样。
  因此，我们必须评估最终结果的质量，而不能只看它走过的过程是否一致。

• 多路径执行（Multi-Path Execution）
  智能体执行任务时通常包