阿里:语言世界模型赋能通用智能体
📖标题:Qwen-AgentWorld: Language World Models for General Agents
🌐来源:arXiv, 2606.24597v1
🛎️文章简介
🔸研究问题:如何构建基于语言模型的通用环境模拟器,并探索其提升智能体能力的有效范式?
🔸主要贡献:论文提出覆盖七大领域的原生语言世界模型Qwen-AgentWorld,验证了其作为环境模拟器和智能体基座的双重价值。
📝重点思路
🔸采用三阶段训练流水线构建原生世界模型:持续预训练注入状态转移动态与领域知识,监督微调激活下一状态预测的思维链推理模式,强化学习通过混合评分规则奖励提升模拟保真度。
🔸设计统一的环境轨迹数据模式,将终端、搜索、软件工程及GUI等七类异构环境的交互数据标准化为系统提示词加动作观测对序列,实现跨域联合训练。
🔸在预训练阶段引入信息论损失掩码机制,根据动作与观测的词集重叠度及新颖度统计特征过滤低信息量回合,使模型聚焦于学习真实的环境状态演变而非文本生成。
🔸构建AgentWorldBench基准测试,利用前沿模型在真实环境中的交互轨迹作为真值,通过五维开放式评分体系评估世界模型的格式、事实性、一致性、真实感与质量。
🔸探索解耦与统一两种应用范式:解耦模式下世界模型作为可控模拟器支持大规模强化学习;统一模式下将世界模型训练作为预热阶段,内化为智能体的元认知推理能力。
🔎分析总结
🔸Qwen-AgentWorld在AgentWorldBench上显著优于现有前沿模型,特别是在终端和软件工程等文本域表现突出,证明了原生世界模型训练的有效性。
🔸作为解耦模拟器时,可控模拟能生成针对性对抗样本,使智能体在工具调用和搜索任务上的性能超越仅在真实环境中训练的基线,且零样本泛化至未见过的OpenClaw环境。
🔸作为统一基座时,单轮非智能体任务的世界模型预热能显著提升下游多轮工具调用任务性能,甚至在完全未训练的领域也展现出强大的跨域迁移能力。
🔸强化学习不仅提升了宏观评分,还增强了微观层面的模拟精度,如精确的字节级算术运算、URL标识符真实性及跨轮次API模式的一致性。
🔸思维链分析显示模型习得了审慎自我纠正、信息泄露防止及多步因果推理等高级认知模式,能在执行前进行心理模拟以优化决策。
💡个人观点
论文将世界模型从辅助组件提升为智能体的原生认知基础,证明了“预测即理解”在语言智能体中的关键作用。