• 1. 引言
• 2. 幻觉的定义与分类
• 3. 幻觉的归因理论分析
  • 3.1 数据层面：噪声、偏见与长尾知识缺失
  • 3.2 模型层面：概率生成机制与架构限制
  • 3.3 推理层面：解码策略与外部因素
• 4. 主流幻觉缓解技术
  • 4.1 检索增强生成（RAG）：外部知识注入
  • 4.2 事实校验层：后验证与纠正
  • 4.3 其他缓解策略
• 5. 前沿研究进展（2023–2025）
  • 5.1 多模态与大规模视觉语言模型的幻觉
  • 5.2 幻觉的理论分析与数学基础
  • 5.3 新的评估基准与Leaderboard
  • 5.4 缓解技术的创新
• 6. 未来研究方向与展望

1. 引言

近年来，大型语言模型（LLM）在文本生成、问答、摘要等任务上展现出卓越能力，但其“幻觉”（Hallucination）问题——即生成看似合理但缺乏根据或与事实不符的内容——严重制约了其在医疗、法律、金融等高风险领域的可靠应用。幻觉现象并非LLM独有，但其开放生成特性使其成为研究焦点。本综述系统梳理2023–2025年间ACL、NeurIPS等会议论文，总结幻觉的归因理论和主流缓解技术。我们将首先定义幻觉及其分类，然后深入分析数据、模型结构、推理过程等多方面成因，最后重点介绍检索增强生成（RAG）、事实校验层等前沿缓解策略，并展望未来研究方向。

2. 幻觉的定义与分类

定义：在自然语言生成领域，幻觉通常指模型生成的内容与源文本或已知事实不符。对于LLM而言，幻觉可细分为两类：

• 事实性幻觉（Factuality Hallucination）：生成内容与客观事实相矛盾。例如，模型错误地声称“中国的首都是上海”。
• 忠实性幻觉（Faithfulness Hallucination）：生成内容与用户输入或上下文逻辑不一致。例如，用户询问苹果颜色，模型回答“苹果是蓝色的”。

这一分类与早期定义相符，如内在幻觉（与源内容冲突）和外在幻觉（无法由源验证的内容）。理解幻觉类型有助于针对性地设计检测与缓解方案。

3. 幻觉的归因理论分析

3.1 数据层面：噪声、偏见与长尾知识缺失

LLM通过在海量网络文本上进行自监督训练，不可避免地吸收了其中的错误信息、偏见和过时内容。训练数据中的噪声和错误信息会直接导致模型学到错误的知识分布。例如，若数据集中存在错误事实（如“爱迪生发明了灯泡”这类流行谬误），模型可能将其作为“正确”知识记忆。此外，互联网文本存在显著的长尾分布：大量冷门或特定领域的事实（如个人生日、电话号码）在训练数据中出现频率极低。模型对这些长尾知识的学习不足，只能依赖泛化猜测，从而加剧幻觉。例如，OpenAI研究发现，对于训练数据中仅出现一次的事实，模型幻觉率至少等于该类事实在训练集中的比例。换言之，如果20%的生日信息在训练数据中只出现一次，那么模型在生日问题上的幻觉率至少达到20%。

图1：训练数据中“单例事实”比例与模型幻觉率下限的关系（示意图）

数据对应关系：

单例事实比例	幻觉率下限
0%	0%
5%	5%
10%	10%
15%	15%
20%	20%
25%	25%
30%	30%

这揭示了幻觉的统计必然性：即使训练数据完全正确，模型也无法避免对罕见事实的猜测。除了事实性偏差，训练数据的偏见（如性别、种族偏见）也可能在生成中被放大，导致模型输出带有偏见的不实陈述。因此，数据清洗、去重、领域知识注入等方法被用于缓解数据驱动的幻觉，但彻底消除数据层面的幻觉根源极具挑战。

3.2 模型层面：概率生成机制与架构限制

LLM本质上是一个基于Transformer的概率模型，通过预测下一个词来生成文本。这种自回归生成机制导致幻觉在两方面产生：

• 误差累积（Exposure Bias）：训练时模型基于真实前缀生成下一个词，而推理时则基于自身生成的词继续生成。这种分布差异导致生成过程中的小错误不断累积，最终可能偏离事实。例如，模型在早期生成一个不存在的实体名称后，后续内容可能围绕这个错误实体展开，形成连贯但虚构的叙述。
• 概率平滑效应：最大似然训练使模型对语义相近的多个正确答案分配概率，但对错误答案的概率区分不足。这意味着模型在不确定时可能选择一个“看似合理”的错误答案，而非承认无知。

此外，Transformer架构本身存在归纳偏置：其固定的上下文窗口和位置编码限制了模型对长程事实的精确引用。当所需事实超出了上下文窗口范围，或被注意力机制“淹没”时，模型只能依赖参数化记忆，而参数化记忆是有损压缩的，不可避免地产生信息失真。这种近似检索在需要精确数值、日期、人名等场景下尤为脆弱。例如，模型可能记住“某总统出生于某年”，但当被问及具体月份和日期时，由于训练数据中相关细节稀少，模型只能凭模糊记忆猜测，从而产生幻觉。架构上的这些限制意味着，即使模型在训练中学到了正确知识，其内部表示和检索机制仍可能无法在推理时准确调用这些知识。

3.3 推理层面：解码策略与外部因素

生成阶段的解码策略对幻觉率有直接影响。常见的温度采样（temperature sampling）和Top-k/Top-p采样通过引入随机性来提高输出多样性，但也增加了生成低概率（潜在错误）词的机会。温度参数τ越高，输出分布越平坦，模型更可能采样到低概率token，从而增加幻觉风险。相反，贪心解码（greedy decoding）虽然确定性高，但可能陷入模型自身的高概率幻觉路径。例如，模型可能因为生成“我不知道”会被惩罚而选择编造一个看似合理的答案。因此，解码策略需要在确定性和多样性间权衡，以降低幻觉概率。

此外，外部因素如**检索增强生成（RAG）**的使用也引入新的幻觉风险。RAG通过在生成前检索相关文档来提供外部知识，但若检索结果不准确或模型过度依赖检索内容，同样可能引入噪声或与模型内部知识冲突的信息，导致幻觉。研究表明，RAG系统对检索文档的顺序非常敏感，不当的文档排列可能导致模型忽略正确的检索结果，从而产生幻觉。这提示我们，幻觉问题不仅源于模型自身，也与外部知识整合机制的有效性密切相关。

4. 主流幻觉缓解技术

针对上述成因，研究者提出了多种缓解幻觉的策略，可大致分为以下几类：

4.1 检索增强生成（RAG）：外部知识注入

检索增强生成（Retrieval-Augmented Generation, RAG）通过在生成过程中引入外部知识库或检索结果，为模型提供事实依据，从而减少对参数化记忆的依赖。其基本流程是：在生成回答前，先从知识库中检索与用户查询最相关的文档或片段，然后将这些检索到的内容与用户问题一起输入模型，作为生成回答的上下文。这样，模型在生成时可以引用检索结果中的具体信息，而不是仅凭内部记忆推测。RAG特别适用于问答、对话等知识密集型任务，能够显著降低事实性幻觉。例如，有研究通过在LLM推理过程中动态检索并验证生成内容，将实体级幻觉率从44.8%降至1.8%。

图2：RAG技术对实体级幻觉率的降低效果对比

方法	实体级幻觉率
使用RAG前	44.8%
使用RAG后	1.8%

RAG的变体不断涌现，如自适应RAG（Adaptive RAG）会根据模型置信度动态决定是否检索；多模态RAG则扩展到图像、视频等模态，以减少跨模态幻觉。然而，RAG也面临挑战：检索结果可能包含噪声或与模型知识冲突的内容，需要设计有效的结果重排序和相关性阈值过滤机制。此外，模型可能过度依赖检索内容，忽视自身参数知识，导致对检索结果的错误解读。最新研究如Stable-RAG指出，RAG系统对检索文档的排列顺序非常敏感，不同顺序可能导致模型选择不同答案，从而影响幻觉率。因此，RAG虽是缓解幻觉的有力工具，但其有效性依赖于检索质量和模型对检索内容的正确融合。

4.2 事实校验层：后验证与纠正

事实校验层（Fact-Checking Layer）是指在LLM生成后，引入一个独立的验证机制对输出内容进行事实性核查和纠错。这种后验证策略通常包括以下步骤：

1. 生成初步回答：LLM根据用户提问生成初始响应。
2. 事实核查：使用预训练的事实核查模型或外部知识库，对生成内容中的关键事实进行验证。核查模型可以是专门训练的二分类器（如基于自然语言推断的模型），用于判断LLM输出的陈述是否与已知事实相符。也可以通过检索权威资料，比对生成内容与检索结果的一致性来实现核查。
3. 反馈修正：根据核查结果，对不一致或错误的陈述进行修正。修正方式可以是简单的删除或替换错误部分，或让LLM根据核查反馈重新生成相关段落。例如，一些系统会提示LLM“请检查以下陈述是否属实：…”，让模型自我反思并纠正。

事实校验层的一个优势是无需修改LLM本身，可作为插件应用于任何预训练模型。工业界已有实践，如NVIDIA的NeMo Guardrails库提供了Self-Check Fact-Checking模块，对LLM输出进行自动事实核查，并支持在检测到幻觉时阻止或警告输出。此外，还有研究利用多模型一致性进行校验：通过让多个不同模型回答相同问题，比较它们的输出一致性来识别幻觉。这种方法利用了模型间在知识掌握上的差异，通过多阶段一致性检查和动态语义保持变换等手段，显著提高了幻觉检测的F1分数。事实校验层的挑战在于：核查模型本身的准确性、外部知识库的覆盖范围，以及如何高效地将核查结果反馈给LLM进行修正。随着检索增强生成与事实校验的结合，这一方向正变得更加成熟。

4.3 其他缓解策略

除了RAG和事实校验，研究者还从多个角度探索缓解幻觉的方法：

• 提示工程（Prompt Engineering）：通过精心设计提示，引导LLM更谨慎地回答。例如，在提示中加入“请逐步思考”或“如果不确定请回答‘我不知道’”等指令，可降低幻觉率。**Chain-of-Thought (CoT)**提示要求模型先输出推理过程，再给出答案，有助于模型自我检查逻辑一致性。Self-Consistency则通过采样多个答案并选择一致结果，减少单一采样路径的幻觉。这些方法在无需修改模型参数的情况下，通过改变生成流程来提升可靠性。
• 对比解码（Contrastive Decoding）：利用两个模型（一个“原始”模型和一个“诱导幻觉”模型）的输出差异来抑制幻觉。具体做法是：构造一个“弱”模型（如对原始模型进行对抗性扰动或使用更小模型），使其更容易产生幻觉。在解码时，将原始模型的预测分布与弱模型的预测分布相减，以放大原始模型对正确事实的高置信度，同时降低弱模型也高置信度的错误预测。实验表明，这种方法能显著提升模型的事实性，例如将Llama2-7B在TruthfulQA上的表现提升至与ChatGPT相当的水平。后续工作如DoLa进一步提出了层对比解码，通过对比模型高层与低层的输出，减少幻觉。然而，也有研究指出，对比解码的有效性可能受限于模型内部参数知识的正确性。
• 模型微调与对齐：在监督微调（SFT）和人类反馈强化学习（RLHF）阶段，引入事实性奖励和不确定性表达机制，训练模型在不确定时选择拒答或输出“我不知道”。例如，通过构造包含对抗性负样本（看似合理但错误的陈述）的训练数据，可以增强模型对细微事实差异的敏感性。RLHF则可设计奖励函数，鼓励模型对高置信度问题给出准确答案，对低置信度问题选择谨慎回答。这些方法旨在从源头上提高模型对自身知识边界的认知，减少“硬着头皮编造”的情况。
• 多模态融合：对于视觉-语言等多模态模型，幻觉常表现为视觉幻觉（描述不存在的物体或属性）。缓解策略包括改进视觉编码器与语言模型的融合机制，确保视觉信息被充分关注；以及在解码时校准注意力，避免模型过度依赖语言先验而忽视图像证据。例如，有研究提出**Confidence-Aware Attention Calibration (CAAC)**框架，通过校准模型对不同区域的注意力，缓解空间感知偏差，从而减少视觉幻觉。
• 基准与评估：为了量化幻觉程度，研究者构建了多种评估基准和自动指标。如TruthfulQA评估模型在常见误解问题上的诚实度；HaluEval和HaluQA等基准用于检测模型生成的虚构内容；RAGTruth则专注于RAG场景下的幻觉检测。此外，还有工作利用不确定性量化（如熵、语义熵）来预测模型输出的可靠性。这些评估工具为比较不同缓解方法的效果提供了客观依据，也推动了对幻觉成因的更深入理解。

5. 前沿研究进展（2023–2025）

5.1 多模态与大规模视觉语言模型的幻觉

随着多模态大模型（如GPT-4V、LLaVA等）的兴起，幻觉问题扩展到视觉、音频等模态。研究发现，这些模型在描述图像或视频时，常出现对象幻觉（描述不存在的物体）和属性幻觉（错误描述物体属性）等现象。例如，模型可能自信地描述一张办公桌照片中并不存在的笔记本电脑和咖啡杯。为应对这一挑战，学术界提出了多模态幻觉检测基准（如MHaluBench）和统一检测框架（如UNIHD），能够自动选择工具对多模态输出进行细粒度幻觉检测。同时，也有研究聚焦于跨模态冲突，即不同模态输入间的信息不一致导致模型陷入“两难”并产生幻觉。这些工作表明，多模态幻觉的成因更为复杂，需要综合考虑视觉编码、模态对齐和语言生成等多方面因素。

5.2 幻觉的理论分析与数学基础

近期有研究从信息论和概率建模角度，对幻觉现象进行数学建模和分析。例如，有学者将幻觉视为模型预测分布与真实事实分布之间的KL散度超过阈值的情况。还有工作提出**“幻觉能量”的概念，通过谱图理论分析模型表示空间的几何结构，给出幻觉的上下界。OpenAI的最新研究更是从统计学根源出发，证明了幻觉在生成模型中的不可避免性。他们通过将生成错误转化为一个二元分类问题，证明语言模型的生成错误率至少是分类错误率的两倍。这意味着即使拥有完美的训练数据，模型也无法完全消除幻觉。这一发现揭示了幻觉的统计必然性**，并为评估体系的设计提供了指导：当前主流的二元评分体系实际上在鼓励模型猜测，而非表达不确定性。为此，研究者提出在评估指令中明确置信度阈值，以奖励模型在不确定时选择拒答，从而从根本上改变模型的激励结构。这些理论分析为理解幻觉的深层原因和设计更有效的缓解策略提供了重要洞见。

5.3 新的评估基准与Leaderboard

为了系统评估LLM的幻觉程度，学术界和工业界推出了多项基准测试和排行榜。例如，HaluEval提供了一个自动评估生成文本中事实性错误率的框架；Hallucination Leaderboard则比较了不同LLM在文档摘要任务上的幻觉率，发现主流模型的幻觉率分布在1.8%至24.2%之间。更近期的HALoGEN基准覆盖了编程、科学 Attribution、摘要等九大领域，包含10,923个生成提示和高精度自动验证器，用于检测14个LLM在生成约150,000个原子事实时的幻觉情况。实验结果显示，即使表现最好的模型，其幻觉率在某些领域也高达86%。这些基准和排行榜不仅量化了不同模型间的差异，也推动了模型开发者将可信度作为优化目标之一。同时，有研究指出，现有评估方法存在局限，如过于关注输出层面的不确定性，而忽视了模型内部表示的可探测信号。因此，未来评估体系可能需要结合多层特征和人类校准，以更全面地衡量幻觉。

图3：主流LLM模型在文档摘要任务上的幻觉率分布范围

幻觉率范围：1.8% – 24.2%

5.4 缓解技术的创新

2023–2025年，缓解幻觉的技术呈现出多维度创新的趋势。除了前述的对比解码和事实校验，还有以下值得关注的方向：

• 多阶段一致性检查：通过在生成过程中多次采样并比较结果，识别不一致之处，从而定位并修正幻觉。这种方法利用了模型在不同采样路径下的输出差异，提高了检测精度。
• 内部状态探测与干预：研究发现，LLM的内部隐藏状态包含丰富的“事实性”线索，可用于预测和缓解幻觉。例如，有工作通过在生成过程中监测模型的注意力分布和logits输出，当检测到模型对当前生成内容的置信度下降时，及时干预（如引入检索或提示模型反思）。还有研究利用探针分类器分析模型内部表示，找出与幻觉相关的特征，并在推理时调整这些特征以降低幻觉率。
• 多智能体系统：构建由多个LLM智能体组成的系统，通过自我询问和辩论来纠正错误。例如，一个智能体生成回答，另一个智能体扮演“质疑者”角色，对回答中的每个假设进行验证和提问，第一个智能体再根据反馈修正回答。这种多智能体协作机制模拟了人类 fact-checking 的过程，能够发现并纠正单个模型难以察觉的幻觉。
• 领域特定策略：针对医疗、法律、金融等高风险领域的幻觉问题，出现了专门化的解决方案。例如，在医疗领域，有研究通过合成数据增强训练事实核查模型，显著提升了医学事实校验的F1分数。在法律领域，通过规则嵌入和案例检索，帮助模型避免虚构法律条文。这些领域定制的方法结合了专业知识库和通用缓解技术，为高风险应用提供了更可靠的保障。

6. 未来研究方向与展望

尽管近年来在幻觉的归因分析和缓解技术上取得了显著进展，但仍有许多开放问题有待探索：

• 理论与极限：需要更深入的理论研究来揭示幻觉的数学本质。例如，有学者已证明，完美控制幻觉在当前生成模型范式中可能数学上不可能。未来的工作应在此基础上，寻找可行的近似解，如通过引入外部知识、约束解码空间等方法，逼近理论下界。
• 多模态幻觉：随着模型能力扩展到更多模态，多模态幻觉的机理和缓解策略亟待研究。例如，如何在视觉-语言模型中校准注意力，避免对视觉证据的忽视；如何在音频-文本生成中防止听觉幻觉。这需要跨模态知识对齐和冲突检测的新方法。
• 内部表示与可解释性：加强对模型内部状态与幻觉关系的研究，有助于开发更精细的干预手段。未来可探索探针模型来实时监测模型生成时的“知识边界”，并在模型即将产生幻觉时发出预警。此外，可解释性研究应关注幻觉路径：即模型在生成错误事实时，其内部哪些神经元或注意力头被激活，从而为针对性微调提供依据。
• 评估与基准：构建更全面、更贴近实际应用场景的评估基准至关重要。现有基准多为静态测试集，未来应考虑动态交互式评估，模拟用户与模型多轮对话中的幻觉累积效应。同时，基准应覆盖更广泛的领域和文化背景，以检测模型在不同知识领域的盲点。评估指标也需改进，从单纯准确率转向综合考虑准确率、诚实度和用户信任的多维度指标。
• 工程实践与部署：将学术研究转化为工程实践是关键一步。如何在生产环境中实时检测并缓解幻觉，是工业界关注的重点。这包括开发高效的在线事实核查服务、构建可动态更新的知识库，以及设计用户友好的交互界面，让用户在获取信息的同时了解其可信度。此外，还需要制定行业标准和最佳实践，指导开发者如何在模型训练、微调和部署各阶段融入幻觉缓解策略。

总之，幻觉问题已成为LLM领域的一个核心挑战，其解决需要数据、模型、推理和评估多管齐下。从数据清洗到模型架构优化，从提示工程到多智能体系统，各方面的创新正在汇聚成一套综合性的解决方案。展望未来，随着对幻觉成因的更深刻理解和新技术的不断涌现，我们有理由相信LLM的可靠性将大幅提升，使其在高风险领域的大规模应用成为可能。本综述期望为研究者提供一个系统性的参考，帮助他们在这一快速发展的领域中找到研究方向，并共同推动LLM朝着更可信、更可靠的方向发展。