导读

传统产品指标（DAU、留存、转化率）依然重要，但AI产品有其独特的度量挑战——LLM输出是概率性的、不确定的、难以直接量化的。一个模型在Demo里表现惊艳，上线后可能让用户怨声载道；Token成本看起来很低，总账单却高得离谱。

这一章我们建立一套AI产品指标体系，聚焦四个核心领域：幻觉率与可靠性、上下文利用率、Token效率、模型调用成功率。目标是让PM能真正量化AI产品的质量、成本和用户体验，而不是被表面的"准确率"数字蒙蔽。

17.1 幻觉率：定义、测量与工程实践

什么是幻觉

“幻觉”（Hallucination）是LLM生成的内容包含错误、过时或无中生有的信息。Stanford HAI的2026年AI指数报告显示，当前顶尖LLM的幻觉率在**22%到94%**之间——这个巨大的跨度说明：幻觉率高度依赖任务类型：