深度学习中的大模型「幻觉」问题：解析、原因及未来展望

如何解决大模型的「幻觉」问题？

在这里插入图片描述

什么是大模型「幻觉」

大模型幻觉是指在深度学习领域中，尤其是涉及大型神经网络时，模型展现出在理论上不应具备的性能或能力。这种现象可能导致误导性的结果，表现为在训练数据上过度拟合，使得模型在未曾见过的数据上表现异常优秀。这种过度拟合可能是由于模型的复杂性和训练数据的不足导致的，形成了一种虚假的表现，即幻觉。

人类会胡言乱语，AI同样也会。简单来说，AI的胡言乱语就是所谓的“机器幻觉”。

具体来说，AI的幻觉是指大模型生成的内容在表面上看起来合理、有逻辑，甚至可能与真实信息交织在一起，但实际上却存在错误的内容、引用来源或陈述。这些错误的内容以一种有说服力和可信度的方式呈现出来，使人们在没有仔细核查和事实验证的情况下很难分辨出其中的虚假信息。

AI的幻觉可以分为两类：内在幻觉和外在幻觉。

内在幻觉是指AI大模型生成的内容与其输入内容之间存在矛盾，即生成的回答与提供的信息不一致。这种错误往往可以通过核对输入内容和生成内容来相对容易地发现和纠正。

举个例子，我们询问AI大模型“人类在哪年登上月球”？（人类首次登上月球的年份是1969年）然而，尽管AI大模型可能处理了大量的文本数据，但对“登上”、“月球”等词汇的理解存在歧义，因此，可能会生成一个错误的回答，例如“人类首次登上月球是在1985年”。

相较于内在幻觉，外在幻觉则更为复杂。它是指生成内容的错误性无法从输入内容中直接验证。这种错误通常涉及模型调用了输入内容之外的数据、文本或信息，从而导致生成的内容产生虚假陈述。外在幻觉难以被轻易识别，因为虽然生成的内容可能是虚假的，但模型可以以逻辑连贯、有条理的方式呈现，使人们很难怀疑其真实性。通俗地讲，也就是AI在“编造信息”。

想象一下，我们在与AI聊天，向其提问：“最近有哪些关于环保的新政策？”AI迅速回答了一系列看起来非常合理和详细的政策，这些政策可能是真实存在的。但其中却有一个政策是完全虚构的，只是被AI编造出来。这个虚假政策可能以一种和其他政策一样有逻辑和说服力的方式被表述，使人们很难在第一时间怀疑其真实性。

这就是外在幻觉的典型例子。尽管我们可能会相信AI生成的内容是基于输入的，但实际上它可能调用了虚构的数据或信息，从而混入虚假的内容。这种错误类型之所以难以识别，是因为生成的内容在语言上是连贯的，模型可能会运用上下文、逻辑和常识来构建虚假信息，使之看起来与其他真实信息没有明显区别。

造成大模型「幻觉」的原因

在这里插入图片描述

AI的幻觉问题并不是一个新问题，只不过以ChatGPT为代表的AI大模型的火爆让人们开始注意到这个问题。那么，AI的幻觉究竟从何而来？又将带来什么危害？

以ChatGPT为例，其本质是通过概率最大化不断生成数据，而不是通过逻辑推理来生成回复。ChatGPT的训练使用了前所未有的庞大数据，并通过深度神经网络、自监督学习、强化学习和提示学习等人工智能模型进行训练。目前披露的ChatGPT的上一代GPT-3模型参数数目高达1750亿。

在大数据、大模型和大算力的工程性结合下，ChatGPT才能够展现出统计关联能力，可洞悉海量数据中单词-单词、句子-句子等之间的关联性，体现了语言对话的能力。正是因为ChatGPT是以“共生则关联”为标准对模型训练，才会导致虚假关联和东拼西凑的合成结果。许多可笑的错误就是缺乏常识下对数据进行机械式硬匹配所致。

大模型幻觉的形成源于多个方面。首先，数据分布不一致是一个关键问题。当训练数据与实际应用场景存在显著差异时，模型可能学到了不一致的特征，导致在实际应用中性能下降。其次，大型模型的参数量庞大，容易在训练数据上产生过拟合，即过分适应噪声或非代表性数据，而这并不一定反映真实场景。最后，标签噪声也是一个潜在问题，错误的标签可能导致模型学到错误的知识，进而表现出与实际情况不符的特性。