这项由荷兰乌得勒支大学语言与人工智能研究团队完成的研究，于2026年6月以预印本形式发布，论文编号为arXiv:2606.31719，有兴趣深入了解的读者可以通过该编号查询完整论文。

两个人对话，真的意味着两个人理解了同一件事吗？这个问题在日常生活中往往被我们忽略，因为大多数时候，说话的两个人处于几乎相同的信息环境里。但假设你手里拿着一张地图，朋友手里也拿着一张地图，看似一模一样，其实上面的地标有些不同——这时候，当你说"在那个停车场旁边转弯"，对方点了头，你们真的说的是同一个停车场吗？

这种场景并不只是一道烧脑的哲学题。在现实世界里，误解往往正是以"表面同意"的面目出现的——双方都以为彼此懂了，但其实各自理解的是完全不同的东西。这个现象在语言学里有个专有名词，叫做"共同基础"（common ground）的建立，或者更学术地说，叫"接地气化"（grounding）。

乌得勒支大学的研究团队把目光投向了一类越来越强大的AI系统——视觉语言模型（Vision-Language Models，简称VLMs）。这类AI既能看图，又能读文字，理论上应该能很好地理解对话中的信息。研究团队想搞清楚：当这类AI充当一个旁观者，同时拿到两张不一样的地图，再读完两个人的对话，它能不能准确判断：这两个人，真的在说同一件事吗？

答案令人颇为意外。这些AI模型看到地图之后，反而更容易犯一种特定的错误——它们会因为"两张地图上都有某个地标"就误以为两个人已经达成了一致，完全忽视了对话过程中真正形成理解所需要的那些互动细节。

说到底，"能看见"和"已经共享"是两回事，但AI们往往分不清这个区别。

一、当两张地图上的地标不一样，对话就变成了猜谜

要理解这项研究，得先认识一个经典的心理语言学实验工具，叫做HCRC地图任务（HCRC MapTask）。这是1991年由英国一组语言学家设计的实验框架，至今仍是研究对话与理解的重要参照。

实验的设置非常精妙。两个人分别拿着一张地图，这两张地图看起来差不多，但其实存在一些刻意设计的差异：某些地标只出现在其中一张地图上；某些地标在两张地图上名字不同，比如一张叫"白水"，另一张叫"激流"；还有些地标在一张地图上出现了两次，在另一张上只出现一次。两个人看不到对方的地图，只能通过对话协作完成任务：其中一人（叫"引导者"）根据自己地图上的路线，引导另一人（叫"跟随者"）在自己的地图上画出同样的路线。

这个设计的妙处在于，它把"误解"的可能性直接嵌入了任务结构里。当引导者说"到那个停好的货车旁边"，而自己的地图上有两辆停好的货车，跟随者的地图上只有一辆，双方就很可能在"表面同意"的情况下各自理解成了不同的地标。这种错位，正是研究者想要研究的核心现象。

最近，乌得勒支大学的团队在一份名为"透视视角标注数据集"的资源基础上开展了这项研究。这份数据集包含了128段完整的地图任务对话，共13077个标注好的"参考表达式"（也就是对话中提到某个地标的具体说法）。对于每一个参考表达式，数据集分别记录了引导者的理解和跟随者的理解——即使两个人都觉得自己明白了，两者的理解也可能指向完全不同的地标。

研究团队的核心任务，就是把这些对话和地图喂给AI，让它判断：在这个时间点上，两个参与者对某个参考表达式的理解，是一致的（YES）还是不一致的（NO）？数据显示，在这13077个例子里，约72.1%是"已经达成一致"的情况，另外27.9%则是"尚未一致"——其中大部分是"尚未真正建立理解"的悬而未决状态，极少数（仅239个）是"双方各自以为理解了但其实指向了不同地标"的真正误解。

二、研究团队怎么测试这些AI——一场精心设计的信息控制实验

研究团队测试的AI并不只有一个，而是来自两个主流开源模型家族：Qwen3-VL系列（由阿里巴巴研发）和Gemma3系列（由谷歌研发），参数规模从20亿到120亿不等，共五个模型。其中，综合表现最好的Qwen3-VL-8B-Instruct被作为主要研究对象，进行了最详细的条件测试。

整个实验的巧妙之处，在于研究团队精心控制了两个变量，就像厨师在调整食谱时，每次只改变一个配料的用量，观察菜品口味的变化。

第一个变量是"对话上下文窗口"，也就是AI能看到多少对话内容。研究团队设计了四种不同的"阅读范围"：最窄的只让AI看到包含目标地标表达的那一行对话（curL），稍宽的让AI看到目标所在的整个"交易单元"（curT，大概是一段围绕某个地标展开的对话段落），更宽的让AI从对话开始看到目标所在行（startL），最宽的让AI从对话开始看到目标所在交易单元结束（startT）。通过这样的设计，研究者可以观察：知道更多对话历史，有没有帮助AI更准确地判断两人是否达成了共识？

第二个变量是"地图信息的形式"，也就是AI能获得什么样的地图信息。这里设计了多种条件，形成了一个完整的对比网络。在基础条件下，AI可以完全不知道地图内容（纯文字条件），也可以同时看到两张真实的地图图片（双图条件），或者只看引导者的地图（单图-引导者），或者只看跟随者的地图（单图-跟随者）。

为了进一步弄清楚究竟是"视觉图片"本身在影响AI，还是地图上的"具体内容"在影响AI，研究团队又加了四个特殊条件：给AI一段文字列出每张地图上的地标名称（文字-地标名称），给AI一段文字详细描述两张地图有哪些不同（文字-差异描述），给AI看两张完全空白的灰色图片（空白地图），以及给AI看两张地标被随机替换成其他不相关地图内容的图片（乱序地图）。

这后面两个"假控制"条件特别关键——如果AI只是因为"图片存在"就改变了判断，那空白图片和乱序图片应该也会造成同样的偏差；如果AI是因为"图片里有具体的地标信息"才改变了判断，那这两种假图片就不该造成相同的偏差。

三、让AI看了地图之后，它反而更容易说"他们理解一致了"

实验的核心发现，可以用一个生活场景来类比。假设你是一位婚姻调解员，正在判断一对夫妻是否真的就某件事达成了共识。如果你只听他们说了什么，你会非常谨慎地评估双方的措辞和反应。但如果你突然拿到了一份两人各自的资产清单，上面显示两人都有一辆红色丰田汽车——你可能会不假思索地认为："哦，他们在说同一辆车，没有问题。"但实际上，这两辆车可能是完全不同的车，只是颜色和品牌一样。

这正是AI模型在实验中暴露的问题。

在不给AI任何地图信息的情况下，最好的评估窗口（startT）下，主要模型Qwen3-VL-8B-Instruct的宏平均F1分数（一个综合衡量判断准确度的指标，满分为1.0）为0.591，对"对话已对齐"的预测比例（yes-rate）为0.515，大致处于中性位置，对两种情况的判断相对均衡。

但当AI同时看到两张真实地图之后，宏平均F1分数提升到了0.671——看起来是进步了。然而，这个数字背后藏着一个非常不健康的结构：AI对"已对齐"案例的正确识别率从0.590急剧攀升到了0.822，而对"未对齐"案例的正确识别率则从0.677跌落到了0.518。同时，AI说"YES（两人理解一致）"的比例从0.515骤升到了0.727，几乎与数据集中"已对齐"案例的真实比例相当。

换句话说，AI变得更"乐观"了，在看到地图之后，它更倾向于认为两个人已经达成了共识，即便实际上并没有。总体准确率看起来提高了，但那是因为"已对齐"案例本来就占了72%——你只要把所有答案都说"YES"，准确率也能轻松到达72%。真正困难的地方在于识别"未对齐"的案例，而这正是AI在看到地图后更容易失手的地方。

更有意思的是，只给AI看一张地图的情况反而比给两张地图更极端。只看引导者地图时，AI说"YES"的比例高达0.791，对"未对齐"案例的正确识别率跌到了0.436。只看跟随者地图时，情况类似，yes-rate达到0.794，正确识别"未对齐"的比例仅剩0.408。这说明只要AI看到了任意一张地图，它就会开始过度乐观地预测"双方理解一致"，而同时拥有两张地图反而因为跨图差异提供了一些修正信号，让偏差稍微小了一点。

四、罪魁祸首不是"图片"，而是图片里的"内容"

这里有一个关键问题：AI是因为"收到了图片"才变得过度乐观，还是因为图片里那些具体的地标信息让它产生了偏差？

空白地图和乱序地图两个控制条件给出了明确的回答。当AI收到的是两张纯灰色的空白图片，它的yes-rate直接跌到了0.184，变得极度保守，几乎把所有情况都判断为"未对齐"，宏F1跌至0.407。收到乱序地图（地标内容来自一个完全不相关的地图对）时，结果几乎相同，yes-rate为0.193，宏F1为0.402。这种超级保守的倾向，与看到真实地图时的超级乐观形成了鲜明对比。

这个发现告诉我们：不是"有图片"就会让AI过度乐观，而是"图片里有与任务相关的地标内容"才会触发这种偏差。图片作为视觉通道本身并不是问题，问题在于那些具体的、与任务相关的地标信息。

接下来，两个文字版的地图信息条件进一步验证了这一点。当AI收到的是一段文字，列出了每张地图上的地标名称，yes-rate达到了0.675，宏F1为0.636，对"已对齐"案例的识别率为0.756，对"未对齐"案例的识别率为0.533。当AI收到的是一段详细描述两张地图差异的文字，yes-rate为0.716，宏F1为0.668，对"已对齐"案例的识别率达到0.810，对"未对齐"案例的识别率为0.528。

这两个文字条件的表现，与真实地图图片条件（yes-rate 0.727，宏F1 0.671，"已对齐"识别率0.822，"未对齐"识别率0.518）高度相近，大大高于"纯文字不提供地图信息"条件（yes-rate 0.515，宏F1 0.591）。

由此可见，不管是通过图片还是通过文字告诉AI"两张地图上都有这个地标"，AI都会变得过度乐观。地图内容是触发偏差的关键，视觉呈现方式只是一个幅度更强一点的放大器。

五、置信度分析：AI不只是猜错了，而是"自信地"猜错了

研究团队还深入分析了AI在做判断时的"自信程度"。通过观察AI模型输出"YES"或"NO"时的概率分数，研究者发现了一个令人不安的现象——地图不只是让AI更容易预测"对齐"，还让AI在预测错误时更加自信。

在不提供地图信息的情况下，AI对"已对齐"案例的校准误差（ECE，一个衡量AI自信度与实际准确度是否匹配的指标，越低越好）为0.263，对"未对齐"案例的校准误差为0.235，两者相差不大，说明AI在两类情况下的自信程度与准确度大致匹配，平均自信度约为0.863。

当AI同时看到两张真实地图，情况发生了根本性的变化。对"已对齐"案例，校准误差骤降至0.094，说明AI在这类案例上变得相当精准可靠；但对"未对齐"案例，校准误差急剧攀升至0.403。最极端的情况出现在只看跟随者地图时：对"已对齐"案例的校准误差仅为0.061，而对"未对齐"案例高达0.524——AI在"未对齐"案例上不只是错的，而是满怀信心地错的。与此同时，整体平均自信度从无地图的0.863上升到了约0.927至0.929。

这意味着什么？地图信息让AI在看到地标共存于两张地图时，坚定地相信"两人理解一致"，即便对话中的证据根本不支持这一结论。这种"自信的错误"比普通的随机错误危险得多——因为它很难从表面识别出来。

六、把"未理解"状态、"正在理解"状态和"误解"状态分开看

研究团队进一步把所有13077个案例按照实际的"理解状态"分成三类：真正对齐（两人确实指向同一地标，占9435个案例）、悬而未决（对话中该参考表达式尚未真正被理解确认，占3403个案例），以及真正误解（双方都以为理解了但其实指向了不同地标，仅239个案例）。

在这三类上，不同的信息条件表现出了截然不同的效果。在不提供地图的情况下，AI对真正对齐案例的准确率为0.590，对悬而未决案例的准确率为0.691，对真正误解案例的准确率为0.473。

提供双图后，对真正对齐案例的准确率飙升到0.822，提升了23个百分点，效果显著。但与此同时，对悬而未决案例的准确率从0.691骤降至0.523，下降了17个百分点，统计检验显示这个下降在统计意义上非常显著。对真正误解案例，双图条件下准确率从0.473略降至0.456，统计上差异不显著。

然而，单图条件对误解案例的破坏更大。只看跟随者地图时，对真正误解案例的准确率直接崩塌到0.255，下降幅度超过20个百分点；只看引导者地图时，误解案例准确率也跌至0.372。相比之下，双图条件反而比单图条件"温和"一些，因为两张地图之间的差异提供了一定的纠错信号。

文字版地图信息条件同样呈现了类似的权衡。提供地标名称列表时，三类准确率分别为0.756、0.544和0.372；提供差异描述时，分别为0.810、0.540和0.368——与双图条件高度相似，只是对误解案例的表现略差于双图。而空白地图和乱序地图则产生了截然相反的极端情况：对真正对齐案例准确率仅为0.220/0.222，对悬而未决案例准确率高达0.913/0.886，对真正误解案例准确率也高达0.866/0.858，整体呈现近似"什么都回答NO"的状态。

七、重复提到同一地标，会不会帮助AI更准确？

在真实的地图对话中，同一个地标往往会被多次提及——一开始引导者简单提到，后来又经过反复确认、修正、重新协商，逐步建立了真正的共识。研究团队追踪了这些"参考链"（即对同一地标的连续多次提及序列），按照一条链包含多少次提及分成了六个组（1次、2次、3次、4-5次、6-8次、9次以上），观察AI的判断准确率和乐观程度如何随着提及次数变化。

结果显示了一个值得深思的规律。在不提供地图的情况下，随着同一地标被提及的次数增多，AI的准确率反而略有下滑（从单次提及时的0.719下降到9次以上的0.599）。这并不奇怪——被提及次数越多的地标，往往是对话中越难协商的地标，对话越长越复杂，AI就越难以准确判断。

而在提供地图的情况下，AI的总体准确率随提及次数增多而稳步提升（双图条件从单次提及的0.681上升到9次以上的0.791）。乍一看这是好事，但是yes-rate也在同步攀升（双图条件从0.549上升到0.789，单图条件更是高达0.840至0.845）。由于在一条较长的参考链中，后期的提及往往确实是在已建立共识后发生的，而AI通过提高yes-rate在这些案例上表现更好，这并不能说明AI真正学会了追踪理解过程，而更可能是它在利用"提及次数多=已经建立共识"这个粗糙的启发式规则。

研究团队还观察了在一条参考链的不同位置上，AI的yes预测概率如何变化。几乎在所有条件下，P(YES)的概率都随着提及位置的推进而稳步上升。不提供地图时，第一次提及时P(YES)约为0.420，到第9次以上时升至0.601；提供地图时，这个上升更为明显，各地图条件的P(YES)从约0.708升至0.794，幅度在0.034到0.118之间。这说明AI并没有真正追踪"对话过程中理解是如何逐步建立的"，而只是简单地认为"越说越多，就越该是理解一致的"。

八、不同AI模型，行为差异相当显著

除了主要模型Qwen3-VL-8B-Instruct，研究团队还在基础条件下测试了其余四个模型，结果相当有趣，甚至可以说出人意料。

Qwen3-VL-2B是参数最小的版本（20亿参数），但在看到地图后同样表现出过度乐观的倾向，yes-rate从不看地图时的0.483升至看双图后的0.707，宏F1从0.561微升至0.566。Gemma3-4B也表现出类似的方向性偏移，yes-rate从0.279升至0.400，宏F1从0.445升至0.510。

然而，Qwen3-VL-4B却走向了完全相反的方向：看到地图之后，它变得更加保守而非更乐观，yes-rate从0.368跌至0.225，宏F1从0.518跌至0.411。而Gemma3-12B则不管有没有地图，都极度保守，yes-rate仅为0.107（不看地图）和0.231（看双图），几乎所有情况都预测"未对齐"，宏F1仅为0.322和0.416。

研究团队分析了这种差异的可能原因。Gemma3系列使用的视觉编码器会把图片压缩成固定的256个视觉标记，无论图片多大、内容多复杂，这种激进压缩很可能丢失了地图上那些微小的地标标签和图标细节。Qwen3-VL系列则根据图片实际分辨率动态生成视觉标记，保留了更多空间细节。在预先进行的"读图测验"中，Qwen3-VL各模型对地标名称的识别F1达到了0.876至0.897，而Gemma3系列仅为0.813至0.820，而且Gemma3还会出现字符级的识别错误，比如把"picket fence（栅栏）"读成"picker fence"，把"site of forest fire（森林火灾遗址）"读成"pits of forest fire"。

此外，研究还发现，模型规模越大，并不意味着表现越好。在Qwen3-VL系列里，2B版本反而在某些条件上优于4B版本。Gemma3-12B的校准误差高达0.531，是所有模型中最差的，而它的平均自信度为0.948，是所有模型中最高的之一——更大的模型，更自信，但更错。这种"越大越自信但未必越对"的现象，提示我们单纯扩大模型规模并不能解决识别理解过程的根本问题。

九、这件事真正意味着什么

归根结底，这项研究揭示的是一种被研究团队称为"旁听者幻觉"的现象——AI充当一个对话旁听者，它能读到对话的每一句话，也能看到两张地图上的每一个地标，但它缺少一种能力：真正追踪"理解是如何在对话互动过程中一步步建立起来的"。

就像一个在教室外偷听课的学生，他能听到老师和同学说了什么，也能看到黑板上写了什么，但他并没有参与那个"老师提问、学生回答、老师纠正、学生再次回答"的动态过程。因此，他对"这个知识点是否真的被学生理解了"的判断，就很容易流于表面。

在地图任务里，地图告诉了AI"两个人的地图上都有这个地标"，也就是"这个地标有可能成为共识"。但对话告诉AI的，是"这个地标是否通过对话交互真正被确认为双方的共识"。AI过度依赖了前者，而对后者的追踪能力明显不足。

这一发现对任何需要AI理解对话中"共识建立过程"的应用都有直接影响——比如对话辅助系统、协作任务中的AI助手、或者任何需要AI判断"两方是否真正达成一致"的自动化分析工具。如果AI仅仅因为两方有"共同的可见信息"就误判"已达成共识"，那么它在这些场景下的可靠性将大打折扣。

研究团队也坦诚地指出了这项工作的局限：实验只在旁听者视角下进行，AI没有机会主动提问或澄清；评估只依赖HCRC地图任务这一个特定数据集，类别分布本身就偏向"已对齐"；而且对于真正的误解案例，数量仅有239个，统计力较弱。未来的研究方向，可能需要让AI也参与到对话中，赋予它澄清、表达不确定性和主动修正的能力，并在更多元的数据集上验证这些发现是否具有普遍性。

从更宏观的角度来看，这项研究提醒我们：当我们把视觉语言模型应用于涉及多方理解和协作的场景时，"能看到"和"真正理解了发生了什么"之间，仍然存在一道不小的鸿沟。地图摆在那里，地标都清晰可见，但对话是活的，理解是在互动中动态建立的——而当前的AI，更擅长读静止的图，不擅长追踪活的互动。

---

Q&A

Q1：视觉语言模型在地图对话任务中发现了什么问题？

A：研究发现，视觉语言模型（如Qwen3-VL等）在看到地图后，会因为"两张地图上都有某个地标"就误以为对话双方已经理解一致，即使对话实际上并没有完成这个确认过程。这种偏差在提供真实地图图片时最为明显，yes-rate（预测"已对齐"的比例）从没有地图时的约0.515急升至0.727，而对"未对齐"案例的正确识别率则从0.677跌至0.518。

Q2：为什么Gemma3系列模型在地图任务中表现比Qwen3-VL差？

A：Gemma3系列的视觉编码器会把图片强制压缩成固定的256个视觉标记，无论图片多大或内容多复杂，这种压缩会丢失地图上的细节，比如小字地标名称和图标。实验中，Gemma3模型的地标识别F1只有0.813到0.820，低于Qwen3-VL的0.876到0.897，而且还会出现拼写错误和位置判断错误。读不清地图，自然也就无法产生内容驱动的过度乐观偏差。

Q3：给AI提供地图的文字描述，和给AI看真实地图图片，效果有什么不同？

A：两者效果非常接近。提供地标名称列表时，模型yes-rate为0.675，宏F1为0.636；提供差异详细描述时，yes-rate为0.716，宏F1为0.668——与真实地图图片（yes-rate 0.727，宏F1 0.671）高度相似，远高于不提供任何地图信息的纯文字条件（yes-rate 0.515，宏F1 0.591）。这说明触发过度乐观偏差的是地图的内容信息，而非视觉呈现形式本身，视觉渠道只有轻微的额外放大作用。