论文《Hallucination in World Models is Predictable and Preventable》完整总结+指定章节双语翻译
一、文章核心内容总述
1. 研究背景
生成式视觉世界模型(如Dreamer4)可生成可控、高真实度的未来视频序列,但普遍存在幻觉(Hallucination):画面流畅自然,但动力学逻辑偏离真实环境真值;幻觉会直接输入下游规划器/策略,造成机器人、强化学习任务的错误决策。过往研究多将幻觉归因于模型架构缺陷,本文提出全新核心论点:世界模型幻觉本质是状态-动作空间的数据覆盖不足问题,而非模型结构缺陷。
2. 核心研究流程
- 构建大规模多任务基准数据集MMBench2,弥补现有数据集缺少真值动作/奖励、无实时模拟器、任务单一的缺陷;
- 基于MMBench2训练3.5亿参数Dreamer4视觉世界模型,系统拆解幻觉的三类独立失效模式,分别对应模型流水线不同阶段;
- 设计3种无标注、无需额外训练的运行时幻觉预测指标,可精准预判幻觉发生位置;
- 提出两类数据驱动缓解方案:训练阶段覆盖感知采样、在线交互阶段幻觉预测驱动的好奇心探索数据采集;