面向具身智能的物理视频模拟器：蚂蚁灵波LingBot-Video开源模型全解析
摘要
2026 年 7 月 9 日，蚂蚁集团旗下专注具身智能研发的蚂蚁灵波科技正式对外开源LingBot-Video，同步发布实时交互世界模型 LingBot-World 2.0，形成 “世界模型 + 具身视频生成模型” 双开源底座布局。LingBot-Video 是全球首款基于 MoE 混合专家架构、专为机器人与物理交互场景打造的开源视频基础模型，彻底区别于主流面向影视、短视频创作的通用视频生成框架，重构了面向物理世界预测、机器人动作仿真的视频预训练范式。模型以架构稀疏化、具身专属数据体系、物理对齐强化学习三大核心创新，解决传统视频生成模型物理失真、推理延迟高、机器人动作逻辑断裂三大行业痛点，在 RBench 机器人操作评测、Physics-IQ 物理合理性评测中全面超越英伟达 Cosmos、文心万相、Seedance 等主流模型。本次开源释放完整训练代码、30B 预训练权重、数据处理流水线、轻量化部署脚本全链路工具链，大幅降低高校实验室、机器人企业、AI 开发者开展具身视觉仿真、世界模型研究的技术门槛，推动视频生成技术从内容创作赛道走向实体机器人交互赛道。全文约 4000 字，从行业背景、核心定位、技术架构、数据体系、训练范式、评测性能、落地场景、开源价值、行业影响九大维度完整拆解 LingBot-Video 技术体系与产业意义。
一、行业背景：视频生成技术双轨分化，具身智能领域存在底层技术空白
当前全球视频生成技术已形成两条完全独立的发展路线，二者技术目标、优化指标、应用场景存在本质割裂，行业长期存在技术供给错配问题。第一条路线是内容创作向视频模型，代表产品包括英伟达 Cosmos、字节 Seedance、文心万相、LTX 等，研发目标聚焦画面美学、高清画质、镜头运镜、创意叙事，优化指标集中在帧率、分辨率、画面细节、文本对齐度，服务影视剪辑、短视频制作、数字人内容生产等文娱场景。这类模型普遍采用稠密 Dense Transformer 架构，推理时全部参数参与计算，算力消耗巨大；训练数据以互联网影视、生活短视频为主，仅学习视觉纹理与画面风格，对重力、碰撞、流体、刚性物体运动等真实物理规则缺乏建模能力。当用于机器人仿真时，极易出现物体漂浮、穿模、动作逻辑断裂、任务流程无法闭环等失真问题，无法支撑机器人实时决策与动作规划。
第二条路线为具身交互向视频模型，面向人形机器人、工业机械臂、移动导航机器人、灵巧操作设备，核心诉求是物理真实性、动作因果连贯性、低延迟实时推理。机器人需要依靠视觉视频模型预判环境变化、生成仿真训练数据、评估控制策略，要求模型输出的每一帧画面严格遵循力学规则，连续动作具备完整任务逻辑，同时满足嵌入式、单卡 GPU 低算力实时生成需求。但在此前，业界缺少一款大规模、开源、针对具身场景深度优化的视频基座，主流方案存在三大短板：一是稠密大模型推理成本过高，单卡无法满足机器人毫秒级预测延迟；二是训练数据缺少机器人第一视角、灵巧操作、导航交互样本，模型无法理解动作与环境状态的因果关系；三是训练目标仅优化画面观感，缺少物理约束奖励机制，生成内容违背现实世界运行规律。
与此同时，具身智能产业面临数据稀缺的核心瓶颈。实体机器人采集真实操作数据成本极高，单次机械臂抓取实验硬件损耗、场地、人力成本高昂，海量复杂任务场景无法大规模采集真实样本；纯物理仿真引擎搭建周期长、建模难度大，难以快速生成多样化、贴近真实环境的训练素材。行业亟需一款可低成本、高保真生成机器人交互视频的开源视频模拟器，充当机器人的数据引擎、策略评估器、动作规划器三重角色。在此产业背景下，蚂蚁灵波推出 LingBot-Video，以 MoE 稀疏架构重构视频生成底层逻辑，搭建专属具身数据训练体系，引入物理对齐强化学习范式，填补面向机器人物理交互的开源视频基础模型空白，开辟视频生成技术全新发展赛道。
二、LingBot-Video 核心定位：面向具身智能的开源物理视频基座
蚂蚁灵波将 LingBot-Video 定义为下一代机器人大脑配套的开源视频物理模拟器，区别于通用文生视频模型，其核心定位聚焦三大核心功能角色，所有技术设计均围绕机器人物理交互需求展开：
（一）大规模机器人仿真数据引擎
LingBot-Video 可批量生成高保真、低成本机器人交互视频，覆盖灵巧抓取、仓储搬运、厨房操作、室内导航、手术器械操作等细分场景，替代大量真实机器人线下采集工作，缓解具身领域高质量标注数据稀缺难题。企业与科研机构可借助模型快速扩充训练数据集，降低机器人算法迭代的硬件与时间成本。实测数据显示，基于 LingBot-Video 生成的仿真数据训练机械臂抓取算法，抓取成功率提升 19%，新场景适配周期缩短 60%。
（二）无风险机器人控制策略评估器
传统机器人策略测试需要在实体设备上反复调试，存在碰撞损毁、安全事故风险；纯物理仿真引擎环境单一、真实度不足。LingBot-Video 可输入机器人控制指令、环境参数，生成完整交互视频序列，直观复现策略执行全过程，研究者无需动用实体硬件即可完成策略优劣评估、故障预判，实现安全、低成本、大规模算法迭代。
（三）实时机器人动作预测规划器
模型支持输入单帧环境画面 + 连续动作指令，预测未来多帧环境变化画面，为机器人视觉规划模块提供视觉推演能力。在服务机器人、工业机械臂实时控制闭环中，模型低延迟推理特性可满足毫秒级预测需求，辅助智能体提前规避障碍物、调整运动轨迹，提升复杂动态场景下任务完成稳定性。
从产品属性划分，LingBot-Video 具备两大标志性行业首创属性：其一，全球首款面向具身智能的大规模 MoE 架构开源视频基础模型，打破稠密架构垄断；其二，业界首个打通数字视频生成与实体机器人控制链路的开源基座，实现视觉生成、物理推理、机器人动作建模一体化，为世界模型、VLA 视觉语言动作模型研究提供底层工具支撑。本次开源完整释放模型全部核心能力，无闭源模块、无商用权限限制，学术机构、中小企业、独立开发者均可免费使用、二次微调、商用落地。
三、核心技术架构：DiT+MoE 混合稀疏架构，兼顾大容量与高效推理
LingBot-Video 最核心技术突破在于采用DiT 扩散 Transformer+MoE 混合专家混合架构，彻底解决传统稠密视频模型 “参数越大、推理越慢、算力成本指数上升” 的痛点，在 300 亿总参数规模下实现轻量化实时推理，架构设计分为三层核心模块：
（一）底层 DiT 扩散视频编码主干
模型基于扩散 Transformer（DiT）搭建视频生成基础主干，替代传统 UNet 视频扩散结构。DiT 架构将视频时空像素统一编码为时序 Token，对画面空间结构、连续帧运动轨迹进行统一建模，强化长视频时序连贯性，支持最长 60 秒连续机器人动作序列生成，解决传统模型长视频动作崩坏、画面跳变问题。主干网络对机器人三维空间坐标、物体相对位置、相机第一视角进行专属编码，天然适配 Ego 第一视角机器人交互场景，精准还原三维空间透视关系，大幅降低物体穿模、空间错位等视觉失真概率。
（二）中层 MoE 动态稀疏专家路由模块
这是 LingBot-Video 区别于所有通用视频模型的核心创新。模型总参数规模 30B，内置多组专属专家网络，按照功能划分为物理动力学专家、灵巧操作专家、导航运动专家、纹理渲染专家四大类。推理过程中，路由机制根据输入 Prompt、图像帧、动作指令自动匹配对应领域专家，单次生成仅激活 3B 活跃参数参与计算，其余专家网络休眠。同等参数规模下，稀疏 MoE 架构推理效率是稠密 Dense 模型的 3 倍，单张 A100 显卡即可实现 8-24 帧 / 秒视频生成，量化压缩后部署内存占用仅 15GB，普通单卡工作站即可完成本地部署与微调，大幅降低硬件门槛。
传统稠密视频模型处理机器人流体、碰撞、抓取等不同物理任务时，所有参数统一参与计算，不同任务特征互相干扰，物理建模精度受限；MoE 架构通过专家分工实现任务解耦，处理机械臂切割食材时自动激活流体、刚性碰撞专家，处理机器人室内导航时激活空间运动、障碍物避障专家，任务针对性建模能力显著提升，动作中断率较主流稠密模型降低 37%。
（三）顶层多模态条件输入融合模块
为适配机器人 VLA 视觉 - 语言 - 动作任务，模型顶层设计多模态条件融合编码器，支持四类输入条件联合驱动视频生成：文本任务描述、前置环境图像帧、连续机器人关节动作指令、三维空间环境参数。多模态输入统一映射至共享特征空间，实现 “图像 + 动作 + 文本” 联合可控生成，可精准按照指定机械臂运动轨迹、导航路径生成完整交互视频，满足机器人动作条件建模核心需求，这是通用文生视频模型不具备的专属能力。
整体架构实现容量与效率双向平衡：30B 超大参数保证复杂物理场景、多步骤长任务的建模能力，稀疏激活机制控制推理算力消耗，兼顾科研高精度需求与产业端实时部署需求。
四、专属数据体系：7 万小时具身多模态数据集，构建物理因果认知
数据是模型区分于通用视频模型的底层支撑，蚂蚁灵波搭建专属具身数据画像引擎，摒弃以互联网娱乐视频为主的训练数据方案，构建分层混合训练数据集，总具身专项数据规模达 7 万小时，覆盖机器人全场景交互样本，从数据源头教会模型理解动作与物理环境的因果关系，而非仅学习画面视觉风格。数据集分为三层：
（一）基础通用视觉数据层
引入合规高清互联网通用视频，用于基础画面渲染、光影、纹理、基础运动规律学习，保证基础画质生成能力，为具身专项学习提供视觉底层能力支撑。
（二）核心具身专项数据层（7 万小时核心样本）
该层为模型差异化核心，整合三类机器人多模态标注数据：
VLA 视觉 - 语言 - 动作数据：工业机械臂、人形灵巧手抓取、切割、搬运操作样本，配套关节动作序列、任务文本描述、物体力学标注，覆盖厨房、仓储、装配、医疗手术四大操作场景；
VLN 视觉语言导航数据：移动机器人室内外导航、避障、路径规划第一视角视频，标注障碍物位置、运动速度、环境空间结构；
Ego 第一视角交互数据：人形机器人、穿戴设备第一人称操作视频，还原真实机器人感知视角，强化三维空间一致性建模。
所有具身数据均增加物理标注标签，包含物体质量、材质、重力参数、碰撞阈值、流体运动特征，为后续物理对齐训练提供监督信号。
（三）仿真 - 真实对齐混合数据层
融合物理仿真引擎生成的标准化机器人视频与线下实体机器人采集真实样本，通过跨域对齐预处理消除仿真与现实画面域偏移，让模型生成画面同时具备仿真的物理严谨性与真实世界的细节纹理，解决纯仿真生成画面僵硬、纯真实样本数量不足的双重问题。
数据画像引擎配套自动化清洗、过滤、标注工具，本次开源同步释放完整数据处理流水线，研究者可基于自有机器人数据集快速构建专属训练样本，适配细分行业机器人场景微调需求。
五、创新训练范式：四维物理对齐强化学习，重塑视频优化目标
通用视频模型训练仅优化画面清晰度、文本匹配度、运动流畅度三大美学指标，完全忽略物理规则约束，生成内容违背现实力学规律；LingBot-Video 重构预训练 + 微调全流程训练范式，引入四维强化学习奖励系统，将物理合理性、任务完成度作为核心优化目标，从训练逻辑层面保障机器人视频真实性。整套训练流程分为两阶段：
第一阶段：多模态基础预训练
基于 7 万小时具身数据集完成扩散模型基础预训练，学习视觉纹理、时序运动、动作 - 环境关联基础特征，损失函数加入空间一致性、动作时序连续约束，避免长视频画面错位、动作跳变。
第二阶段：四维奖励强化学习对齐微调
预训练完成后接入强化学习对齐流程，四大奖励维度同步约束模型输出：
基础视觉奖励：画质清晰度、文本 Prompt 匹配度、画面时序流畅度，沿用通用视频模型基础优化指标；
物理规则奖励（核心维度）：接入轻量化物理引擎实时校验生成视频，检测重力、碰撞、流体、刚性形变、摩擦力 20 余项物理指标，出现物体漂浮、穿模、无外力自动运动等失真画面时大幅降低奖励值，持续对齐真实世界物理规律；
动作逻辑奖励：校验机器人动作序列完整性，评估机械臂运动轨迹、关节角度变化是否符合设备运动极限，杜绝超出硬件物理范围的不合理动作；
任务闭环奖励：针对多步骤机器人任务，评估完整流程能否闭环完成，例如 “拿取容器→倒入液体→加盖” 完整操作序列，中途动作中断、任务失败会降低奖励，提升复杂多子任务生成稳定性。
四维奖励机制实现美学观感与物理真实性双向兼顾，在内部 Physics-IQ 物理合理性评测中，LingBot-Video 综合得分排名第一，对比主流通用视频模型物理失真率下降 42%，复杂多步骤机器人任务完整生成成功率提升 29%。
六、权威评测性能：多基准全面领先主流视频模型
蚂蚁灵波采用两套权威评测体系验证模型综合能力，分别面向机器人具身场景专项评测与通用物理生成评测，LingBot-Video 全部指标超越英伟达 Cosmos 3、Wan2.6、Seedance1.5 Pro、Hunyuan Video 1.5 等主流开源 / 闭源模型。
（一）RBench 机器人操作专项基准（北大 + 字节联合发布）
RBench 是业内公认机器人视频生成评测标准，核心考核机械臂操作物理合理性、任务完整性、动作连贯性，LingBot-Video 综合得分 0.620，对比竞品优势明显：Wan2.6 得分 0.607、Seedance1.5Pro 0.584、Cosmos3Super 0.581。在细分指标上，模型多步骤操作任务完成率、机械臂碰撞合规性、物体材质力学匹配度三项指标断层领先，可稳定生成包含 5 个连续子任务的机械臂操作视频，物理约束满足度超 92%。
（二）Physics-IQ Verified 物理生成评测
该基准聚焦流体、刚体、软物体、重力交互等通用物理现象建模能力，LingBot-Video 综合排名第一，在液体倾倒、物体掉落碰撞、柔性布料形变、多物体堆叠等场景生成无明显物理错误，能够精准预判液体流动轨迹、物体下落落点，支撑机器人动态环境预判规划。
（三）工程部署效率指标
推理速度：单 A100 显卡原生生成 8 帧 / 秒，FP16 量化优化后可达 24 帧 / 秒，满足机器人实时控制延迟要求；
硬件门槛：量化后最低部署显存 15GB，消费级高端显卡即可完成本地推理、微调；
时序能力：支持最长 60 秒连续长视频生成，长时序动作崩坏概率远低于稠密架构模型。
七、落地应用四大核心场景，覆盖科研与产业全链条
依托物理建模、低延迟推理、可控动作生成三大核心能力，LingBot-Video 可落地学术研究、工业自动化、服务机器人、医疗仿真四大赛道，已有 12 家高校、机器人企业基于开源版本开展研发工作。
（一）具身智能与世界模型学术研究
作为开源底层基座，支撑高校实验室开展 VLA 视觉语言动作模型、世界预测模型、机器人强化学习算法研究。研究者可借助模型快速生成海量仿真训练样本，搭建视觉预测仿真环境，无需从零搭建视频生成框架，大幅缩短实验复现、论文产出周期。本次开源配套完整复现代码，所有评测实验可一键复现，降低学术研究复现壁垒。
（二）工业机器人仿真与算法迭代
面向仓储机械臂、装配机器人、自动化产线设备，批量生成抓取、搬运、组装仿真视频，扩充算法训练数据集；在线下产线调试前，通过模型模拟不同物料、障碍物场景，提前优化机器人控制策略，减少实体设备调试损耗，降低工厂自动化落地成本。
（三）家用与商用服务机器人
家政人形机器人、酒店配送机器人、巡检机器人借助模型完成室内环境动态预判，提前规划避障路径；生成多样化家庭交互场景仿真数据，训练机器人拖地、收纳、食材处理等日常操作能力，加速家用机器人商业化落地。
（四）医疗与特种机器人模拟训练
医疗手术机器人、灾害救援机器人无实体高危场景仿真训练，利用 LingBot-Video 生成手术器械操作、复杂灾害环境交互视频，用于医护人员、救援人员模拟培训，同时训练特种机器人危险环境下自主决策算法，规避线下高危实验安全风险。
八、开源完整交付内容与开放生态政策
2026 年 7 月 9 日，LingBot-Video 完整开源代码库同步上线代码托管平台，采取宽松开源协议，学术、商用场景均可免费使用，无强制开源约束，交付全套工程化工具链，降低上手门槛：
完整模型训练代码：DiT+MoE 混合架构完整实现、四维强化学习奖励训练逻辑、多模态条件融合模块源码，支持从零训练自有定制版本；
30B 预训练权重文件：官方训练完成通用具身基座权重，支持一键加载推理、二次微调；
全链路数据处理工具链：7 万小时数据集预处理脚本、自动化物理标注工具、仿真 - 真实数据对齐程序；
轻量化部署工具包：FP16/INT8 量化脚本、单卡 / 多卡推理服务、机器人端实时调用 API、低显存适配优化代码；
完整技术文档与实验案例：架构原理说明、训练调参指南、RBench 评测复现流程、机械臂仿真生成示例工程、机器人动作预测接入案例。
蚂蚁灵波同步推出长期开源维护计划，持续迭代轻量化小参数版本、拓展机器人细分场景微调模板，搭建开发者社区，收集工业、科研场景需求，定期更新数据集工具与模型优化版本，联动 LingBot-World 2.0 世界模型构建完整具身开源技术栈。
九、开源产业价值与行业长远影响
LingBot-Video 开源标志着视频生成技术正式完成 “内容创作” 与 “具身物理交互” 双赛道技术分离，对机器人产业、AI 视觉科研领域产生三重深远影响：
（一）打破具身智能底层技术垄断，降低行业研发门槛
此前大规模物理对齐视频生成模型均为科技企业闭源产品，高校、中小型机器人企业难以获取底层框架与预训练权重，只能依赖通用视频模型折中开发，技术迭代受限。本次开源释放完整 MoE 视频基座，中小企业无需投入亿级算力、数据成本自研底层模型，可直接基于 LingBot-Video 快速开发行业专属机器人仿真工具，加速机器人产业创新。
（二）解决机器人产业数据稀缺核心痛点，推动虚实结合训练范式普及
实体机器人采集数据成本高、场景覆盖有限是行业长期瓶颈，LingBot-Video 作为低成本仿真数据引擎，推动 “仿真数据预训练 + 真实数据微调” 的虚实融合训练模式标准化。企业可依靠模型生成百万级多样化交互样本完成算法基础训练，仅少量真实数据微调即可落地，大幅缩短机器人产品研发周期，降低硬件投入。
（三）构建国内自主可控具身视觉开源技术底座，完善世界模型生态布局
当前全球主流视频生成基座多为海外厂商闭源框架，蚂蚁灵波同步开源 LingBot-Video 与 LingBot-World 2.0，形成国内自主研发、完整开放的世界模型 + 具身视频生成双底座，为国内人形机器人、工业自动化、通用人工智能研究提供安全可控底层工具，推动本土具身智能技术自主创新，完善国内 AI 多模态、世界模型开源生态建设。
十、总结
在具身智能产业加速落地、世界模型成为通用人工智能核心赛道的行业窗口期，蚂蚁灵波开源 LingBot-Video 填补了面向机器人物理交互的大规模 MoE 视频基础模型开源空白。模型通过 DiT+MoE 稀疏架构实现大容量与高效推理平衡，依托 7 万小时专属具身数据建立动作 - 物理因果认知，创新四维物理对齐强化学习训练范式，在机器人专项评测中全面领先主流通用视频模型。完整开源的代码、权重、工具链大幅降低科研与产业落地门槛，为机器人仿真数据生成、实时动作预测、世界模型研究提供全新底层技术方案。
不同于服务文娱创作的通用视频模型，LingBot-Video 开辟视频生成服务物理世界交互的全新技术路线，将 AI 视频模型从内容创作工具转化为机器人的 “虚拟物理模拟器”。随着开源社区持续迭代、细分行业二次开发落地，LingBot-Video 将持续推动虚实融合机器人训练范式普及，加速人形机器人、工业自动化、通用具身智能技术产业化进程，为国内自主可控多模态世界模型生态建设提供关键支撑。