面向跨本体通用机器人控制的规模化实践与预测动态建模

论文来源：From Foundation to Application: Improving VLA Models in Practice

近年来，视觉-语言-动作（Vision-Language-Action, VLA）模型已成为构建通用机器人策略的重要范式。借助预训练视觉-语言模型所提供的丰富多模态对齐与语义表征能力，VLA模型在复杂场景理解与跨任务泛化方面展现出显著优势。然而，实验室条件下的理想环境与真实世界的复杂需求之间仍存在明显落差。为弥合这一鸿沟，研究团队推出了LingBot-VLA 2.0，在数据规模、动作空间覆盖与预测动态建模三个维度实现系统性升级，为VLA技术从基础能力走向实用化部署提供了新的参考路径。

真实世界部署的三重挑战

当前VLA基础模型在实验室基准测试中取得了长足进步，但在面向真实场景的落地过程中，仍面临若干结构性挑战。其一，实际应用中的泛化不仅涉及任务间的迁移，更需要应对异构机器人配置与多源数据的复杂性。不同平台在关节构型、感知布局与动力学特性上差异显著，对模型的跨本体适配能力提出了更高要求。其二，许多真实机器人平台所涉及的自由度远超传统的双臂操作设定，头部运动、腰部转动、移动底盘导航以及灵巧手协同等全身控制自由度，成为执行复杂长程任务不可或缺的能力。其三，真实环境的动态演化要求机器人具备对未来场景变化的预判能力，而非仅对当前观测做出反应。这种时序推理与因果理解的缺失，限制了现有模型在动态交互场景中的决策质量。

针对上述挑战，LingBot-VLA 2.0从数据、本体与预测能力三个层面协同发力，构建了一套更贴近真实部署需求的VLA系统。研究团队的核心假设是：实用的VLA系统不仅需要在模型与数据规模上扩展，更应在本体支持广度、可控动作空间丰富度与动态场景预测理解力方面与真实机器人需求深度对齐。

六万小时跨本体数据：构建规模化预训练基石

数据规模与多样性是决定VLA模型泛化边界的关键变量。LingBot-VLA 2.0对数据处理流程进行了重新设计，筛选并整理了约六万小时的高质量预训练语料，其中包括五万小时的机器人轨迹数据与一万小时的第一人称视角人体操作视频。机器人数据覆盖了二十种不同的机器人配置，涵盖单臂、双臂以及配备移动底盘和灵巧手的类人型平台，为跨本体学习提供了丰富的动力学与构型先验。

图1：LingBot-VLA 2.0预训练数据集覆盖的二十种机器人配置，涵盖单臂、双臂、类人型及移动操作平台

在机器人数据清洗方面，研究团队采用了一套多维质量筛选机制。通过计算动作与状态信号的三阶有限差分（加加速度，Jerk）以及速度、加速度的Z分数，评估轨迹平滑度；超出预设阈值的片段将被剔除。同时，若某段数据中所有状态与动作信号在超过百分之九十五的时长内几乎无变化，则视为无效静态样本而舍弃。此外，通过将机器人URDF模型投影到图像平面并与实际视频逐帧比对，确保视频流与状态信号的一致性；存在多视角错位、严重模糊、遮挡或丢帧的样本也被人为过滤。

在第一人称人体视频处理方面，研究团队构建了约两万小时的候选视频池，经筛选后保留约一万小时高质量数据。所有候选视频首先经过视觉-语言模型的统一预过滤，剔除非第一人称视角、无明确手物交互、无可操作物体或非操作者手部显著出现的片段。对于通过初筛的视频，研究团队采用第一人称视角SLAM估计相机内参与外参，并结合手部姿态估计恢复MANO参数，将手部运动提升至世界坐标系，获得时序连续的手部轨迹。所有有效样本最终以世界坐标系下的手部轨迹形式统一存储，在训练时根据当前帧的相机外参转换至相机坐标系，从而解耦手部运动与相机自身运动。

图2：数据清洗与处理流程，涵盖轨迹平滑性检测、视频-状态一致性校验、SLAM重建与手部轨迹标准化

为增强语言监督的细粒度，研究团队基于视觉-语言模型构建了全自动的片段级与视频级标注管线。通过将操作视频分割为时序连续的子任务序列，并为每个子任务赋予来自封闭词表的十八类原子动作标签（包括移动、倾倒、折叠、按压、旋转、切割等），同时标注主要交互物体与简洁指令。这种细粒度标注使模型能够在预训练阶段建立视觉、语言与动作之间的紧密对应关系。

图3：子任务标注的动作类型统计，涵盖动作频率、总时长占比与平均持续时间分布

统一动作表征：从双臂到全身协同

为联合学习来自异构本体数据的状态与动作表征，LingBot-VLA 2.0采用五十五维的规范向量作为统一表征空间。该向量涵盖十四维手臂关节位置、十四维末端执行器位姿（每臂七维，包含三维坐标与四维旋转四元数）、二维夹爪位置、十二维手部关节位置、四维腰部位置、二维头部位置以及三维移动信号，其余维度预留扩展。

图4：统一动作表征空间，将异构本体控制映射为共享的身体部件组件向量

这一设计的关键在于通过填充机制兼容不同本体。对于单臂平台，仅使用六或七维手臂关节与七维末端执行器位姿，其余维度置零；对于不具备特定身体部件的机器人，相应维度同样以填充处理。通过这种方式，模型能够在同一表征框架下同时学习单臂精确操作、双臂协同、移动底盘导航以及头部-腰部-灵巧手联动的全身控制策略。表格中汇总了二十种本体的自由度配置与策略频率，展示了该表征对从八自由度单臂到三十二自由度人形平台的广泛覆盖能力。

关键设计统一动作表征使模型能够同时处理Franka单臂、AgileX双臂、Unitree G1人形机器人以及配备移动底盘的Astribot S1等异构平台，为跨本体策略迁移奠定表征基础。

稀疏专家架构：高效扩展动作建模容量

在多本体混合预训练中，不同轨迹在动作空间、动力学特性与任务分布上高度异质。为在固定计算预算下提升模型容量，LingBot-VLA 2.0在动作专家内部引入了基于令牌级稀疏激活的混合专家（Mixture-of-Experts, MoE）架构。与传统密集前馈网络不同，MoE层将每个动作令牌的计算路由至多专家子集，在保持激活参数量不变的前提下显著扩展总参数量。

具体而言，每层MoE包含一个轻量级共享专家与多个路由专家。共享专家负责捕获跨本体通用的表征与运动学先验，而路由专家则提供针对特定动力学或任务模式的专门建模能力。在路由机制上，模型采用基于Sigmoid的置信度计算替代传统Softmax，允许每个令牌独立激活多个专家，降低专家间的过度竞争。为进一步避免负载不均衡对主学习目标的干扰，研究团队采用了无辅助损失的负载均衡策略：通过为每个专家维护可学习的路由修正偏置，根据专家在微批次中的累计负载动态调整偏置，从而将负载均衡与动作学习主目标解耦。

图5：在相同激活参数量下，MoE模型在训练损失与验证动作误差上均优于密集模型

实验对比表明，在激活参数量严格匹配的情况下，MoE架构在训练损失与验证动作误差上均持续优于对应的密集模型。这一结果说明，MoE的性能优势并非来源于总参数量的简单膨胀，而是源于通过稀疏激活实现的容量高效分配，使其成为VLA预训练中更具扩展性的架构选择。

预测动态建模：双查询蒸馏框架

为增强模型对几何结构与因果时序动态的理解，LingBot-VLA 2.0引入了双查询蒸馏框架，利用两个互补的教师模型为视觉-语言主干提供监督信号。具体而言，模型在视觉与文本令牌后附加两个可学习的查询令牌，分别对应当前观测与未来观测（以动作块时长为 horizon）。当前查询负责编码即时场景几何，未来查询则学习预测与后续操作相关的未来场景配置。

图6：LingBot-VLA 2.0整体框架，涵盖MoE动作专家、双查询蒸馏与统一动作空间

在几何监督方面，研究团队采用LingBot-Depth作为深度教师模型。当前与未来查询被训练以预测对应帧的深度令牌表征，通过投影模块实现维度对齐。这一监督使模型能够显式理解场景的空间布局与物体间的三维关系。在时序监督方面，研究团队提出了DINO-Video，一个基于DINOv3构建的机器人感知视频表征模型。与逐帧独立提取的图像特征不同，DINO-Video采用块级因果时序注意力与三维旋转位置编码，确保每个时刻的特征仅依赖于当前与过去观测，从而生成具有运动感知能力的视觉表征。当前查询学习匹配当前帧的DINO-Video特征，未来查询则学习预测未来帧的特征，二者共同促进模型对操作因果链与动态演化的理解。

图7：双查询蒸馏的因果感知可视化，展示当前帧与未来帧的深度预测与视频表征预测

DINO-Video在LARYBench基准的评测中取得了优异表现，在分类、回归与机器人专用指标上均展现出作为时序监督信号的有效性。通过将几何深度线索与因果视频语义相结合，双查询蒸馏使VLA模型在推理过程中不仅关注当前视觉输入，还能对未来操作后果进行预判，从而提升长程任务中的决策一致性。

实验验证：通用操作与长程移动任务

为验证系统级改进的有效性，研究团队在GM-100双臂操作基准与长程移动操作任务上进行了全面评估。在GM-100的通用混合训练设定下，单一策略需同时覆盖排序、取物、舀取、更换、打包、推挤与关节物体交互等多种双手技能。

在AgileX Cobot Magic平台上，LingBot-VLA 2.0的平均进度得分与成功率分别达到66.2%与34.4%，相较前代版本提升8.0与4.4个百分点，相较π0.5提升7.1与2.2个百分点。在Galaxea R1 Pro平台上，进度得分与成功率为34.6%与15.6%，分别领先π0.5达7.2与6.7个百分点。尤其在需要精确物体定位与目标导向执行的任务中，如取钥匙串与挑出玩具骨头，模型实现了接近或达到满分的进度表现，体现出增强的视觉定位能力与未来感知规划对物体中心型操作的助益。

图8：长程移动操作任务上的逐子任务完成率，涵盖分布内与分布外设定

在长程移动操作评估中，研究团队选取了Astribot S1的冰箱物品整理任务与Cobot Magic-ARX X5的灶台清洁任务。在分布内设定下，LingBot-VLA 2.0在冰箱整理任务上的进度得分与成功率分别为77.1%与60.0%，在灶台清洁任务上为84.3%与66.7%，均优于对比基线。在分布外设定中，机器人初始位姿被扰动，部分任务中的操作物体也被替换为未见过类别，模型仍保持了相对优势，尤其在完整任务成功率上体现出更强的长程轨迹鲁棒性。

图9：长程移动操作实验平台配置，涵盖Astribot S1与Cobot Magic-ARX X5的传感器与自由度布局

消融实验：动作表示与训练策略的深入分析

为厘清不同设计选择对真实机器人部署的影响，研究团队围绕动作目标、动作空间、归一化方法与损失函数展开了系统消融。在四个GM-100真实机器人任务上的实验揭示了若干具有实践指导意义的结论。

在动作目标方面，相对关节动作显著优于绝对关节动作，平均成功率从33.7%提升至55.0%。相对动作将预测目标从全局关节配置回归转化为局部运动回归，使目标分布更加集中、方差更小，从而降低了学习难度。在动作空间方面，末端执行器（EEF）动作与关节动作在平均性能上相近，但不同任务存在偏好差异。对于需要大范围姿态调整与可达性约束的任务，关节空间更具优势；而对于接触丰富的末端运动，笛卡尔EEF空间表现更佳。这表明最优动作空间的选择需同时考虑分布对齐度与任务的物理结构特性。

图10：GM-100真实机器人任务上的消融实验结果，涵盖动作目标、动作空间、归一化与损失函数

在归一化策略方面，均值标准差（MeanStd）归一化取得了最佳效果，平均成功率达55.0%，显著优于最小-最大（MinMax）与分位数（Q01-Q99）方法。原因在于MinMax将大多数样本压缩到极窄区间，降低了有效分辨率；Q01-Q99虽扩展了中心动态范围，但仍较MeanStd更为压缩。MeanStd保留了相对动作分布的长尾特性，使模型能够学习更大范围的修正运动。在损失函数方面，L2损失在多数任务中优于L1损失，因为相对动作目标主要集中在零附近的小幅连续修正，L2损失更贴合这一高密度区域的精确回归需求。

图11：关节与EEF动作空间的各维度归一化分布，展示任务特定分布与汇总分布的对齐差异

图12：相对动作目标对动作尺度的压缩效果，以及不同归一化策略对动态范围的影响

结语：迈向实用化VLA系统

LingBot-VLA 2.0通过大规模跨本体数据建设、全身动作空间扩展与预测动态建模，系统性地推进了VLA模型从实验室基础能力向真实场景实用化的演进。六万小时的预训练数据为二十种机器人配置提供了广泛的动力学与交互先验；五十五维统一动作表征兼容从单臂到全身移动人形的多样化平台；基于MoE的稀疏动作专家与双查询蒸馏框架则在模型容量与时空推理能力上实现了高效扩展。

在GM-100通用操作基准与长程移动任务上的实验结果表明，上述改进在双臂精细操作与需要底盘导航、全身协调的复杂任务中均带来了稳定的能力提升。消融实验进一步证明，动作表示形式、归一化策略与损失函数的选择对真实机器人性能具有显著影响，为社区在部署VLA系统时提供了可操作的工程参考。

随着VLA技术持续向多本体、长程与动态环境拓展，如何在数据质量、动作空间覆盖与预测能力之间取得更优平衡，仍是领域面临的核心课题。LingBot-VLA 2.0的实践经验表明，通过系统级的协同优化，VLA基础模型有望逐步缩小实验室与真实世界之间的部署鸿沟，为通用机器人走进更广泛的实际应用场景奠定技术与数据基础。

具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html