1. 项目概述：从仿真到现实的四步跨越

如果你关注人形机器人或者强化学习领域，最近可能被一个词刷屏了：Sim2Real。字面意思是从仿真到现实，但背后却藏着让机器人走出实验室、走进真实世界的所有辛酸与智慧。石冠亚（Guangya Shi）教授在CVPR 2025的“Robotics 101”教程中，系统梳理了这条路上的四个关键阶段——从Sim2Real 1.0到4.0。这不仅仅是一个技术演进史，更像是一份人形机器人全身控制（Whole-Body Control）如何从理想照进现实的“通关攻略”。

简单来说，Sim2Real要解决的核心矛盾是：我们在电脑里（仿真环境）训练出的机器人策略，一到真实物理世界就“失灵”。可能是地面摩擦力不一样，可能是电机响应有延迟，也可能是传感器读数有噪声。早期的研究（Sim2Real 1.0）就像给机器人穿上一件僵硬的“盔甲”，试图通过域随机化（Domain Randomization）让策略变得鲁棒，但往往牺牲了敏捷性和性能。而走到Sim2Real 4.0，目标则是让机器人像人一样，能通过少量交互快速“理解”并适应一个新环境，甚至能自我改进。这个教程的价值在于，它没有停留在概念，而是结合了石教授团队在OmniH2O、ASAP、BFM-Zero等一系列标志性工作，清晰地勾勒出了每个阶段的核心思想、技术瓶颈和破解之道。无论你是刚入门的研究生，还是寻找技术突破方向的工程师，这份关于如何“教”机器人跨越虚实鸿沟的路线图，都值得深究。

2. Sim2Real 1.0：鲁棒性优先的“暴力美学”

2.1 核心思想与时代背景

Sim2Real 1.0的时代，大约在2018-2020年前后，是深度强化学习（DRL）在机器人控制领域爆发的初期。大家发现，用仿真环境训练策略效率极高，可以并行跑成千上万个仿真实例，几天就能练出在仿真里表现完美的策略。但一部署到真机上，立刻出现“仿真到现实的鸿沟”（Sim-to-Reality Gap）。当时的思路相对直接：既然仿真和现实有差异，那我就让仿真环境“变化多端”，让策略在训练时见识足够多的“妖魔鬼怪”，从而学会一个放之四海而皆准的“通解”。

这个阶段的核心技术是域随机化（Domain Randomization）。它的逻辑是，在仿真中随机化各种物理参数（如质量、摩擦系数、电机增益、延迟、传感器噪声等）和视觉外观（如纹理、光照、背景）。策略在如此多变甚至极端的仿真环境中训练后，被迫学习到一个不依赖于特定物理参数的内核策略，从而在面对未知的真实世界时，能有一定的泛化能力。这有点像让士兵在包含了沙漠、雨林、雪地、黑夜等各种极端条件的综合训练场里训练，以期他能适应任何战场。

2.2 典型方法与实操要点

实际操作中，域随机化的关键在于随机化范围和分布的设计。一个经典的例子是训练机械臂抓取。你可能会这样设置你的仿真环境：

• 动力学参数随机化：物体质量在[0.5, 1.5]倍标称值内均匀随机；摩擦系数在[0.3, 1.2]之间随机。
• 传感器与执行器随机化：给关节位置读数添加高斯噪声N(0, 0.01)；在发出的扭矩指令上增加10-30ms的随机延迟。
• 视觉域随机化：随机更换桌面纹理、物体颜色、灯光位置和强度，甚至加入随机遮挡物。

在PyBullet或MuJoCo等仿真器中，这通常意味着在每一个训练回合（episode）开始时，调用一个函数来重新设定这些参数。代码框架可能长这样：

def randomize_domain(): # 随机化物理参数 p.changeDynamics(bodyUniqueId=object_id, linkIndex=-1, mass=random.uniform(0.5, 1.5)) p.changeDynamics(bodyUniqueId=plane_id, linkIndex=-1, lateralFriction=random.uniform(0.3, 1.2)) # 设置传感器噪声模型（在观测步骤中应用） # 设置动作延迟队列

注意事项与心得：

1. “过犹不及”的陷阱：随机化范围不是越大越好。如果摩擦系数随机到0.01（极度光滑），策略可能永远学不会走路，因为它违反了基本的物理常识。范围设置需要基于对真实系统不确定性的先验估计。
2. 计算开销：广泛的随机化会显著增加策略学习的难度，可能需要更多的样本和更长的训练时间。
3. 性能天花板：这种方法得到的策略通常很“鲁棒”，但也很“保守”。为了应对最坏情况，策略往往会牺牲最优性能。人形机器人的动作可能显得僵硬、不自然，能量效率也不高。
4. 无法应对系统性偏差：如果真实世界存在某种系统性的、未在随机化范围内的建模误差（例如，仿真中忽略了电机发热导致的扭矩衰减），域随机化可能完全失效。

Sim2Real 1.0是一种“以量取胜”的思维，它解决了从“完全不能用”到“勉强能用”的问题，为后续研究奠定了基础，但也明确揭示了其局限性：我们无法通过穷举所有可能性来完美模拟现实。

3. Sim2Real 2.0：引入真实数据作为“锚点”

3.1 从纯仿真到数据驱动的范式转变

意识到纯仿真随机化的局限后，Sim2Real 2.0的核心思想是：引入真实世界的数据作为引导，让仿真向现实靠拢。与其让策略去适应一个天马行空的仿真，不如让仿真环境本身变得尽可能像现实。这个阶段的关键词是系统辨识（System Identification）和域自适应（Domain Adaptation）。

思路分为两类：一是用真实数据校准仿真模型（动力学参数辨识），二是在学习过程中对齐仿真与真实的特征空间（视觉域自适应）。对于人形机器人全身控制而言，动力学参数的准确辨识尤为重要，因为一个微小的质量或惯性矩误差都可能导致平衡控制失败。

3.2 动力学参数辨识与残差模型

一个经典的方法是收集真实机器人的运动数据（关节位置、速度、扭矩），然后优化仿真模型的参数，使得仿真模型在相同控制输入下产生的运动与真实数据最匹配。这可以表述为一个优化问题：

θ* = argmin_θ Σ ||x_real(t) - x_sim(t; θ)||^2

其中θ是需要辨识的物理参数（质量、惯性、摩擦、阻尼等），x是状态。

然而，对于复杂的人形机器人，完全精确地辨识所有参数极其困难。因此，更实用的方法是学习一个残差模型（Residual Model）。其核心思想是：保留一个经过粗略校准的标称仿真模型，然后学习一个神经网络来预测真实世界与这个标称模型之间的动力学差异（即残差）。在仿真训练时，将标称模型的前向动力学输出加上神经网络的残差预测，得到一个更接近真实世界的“增强仿真模型”。

石冠亚团队2025年RSS的论文ASAP (Aligning Simulation and Real-World Physics)正是这一思想的杰出代表。ASAP通过学习一个从真实世界数据中得到的残差动作模型，来修正仿真物理，从而让人形机器人能在对齐后的仿真中学到敏捷的全身技能。

实操要点：

1. 数据收集：在真实机器人上执行随机或基于任务的策略，记录状态-动作-下一状态序列(s_t, a_t, s_{t+1})。数据不需要很“高质量”，但需要覆盖机器人可能的状态-动作空间。
2. 残差模型训练：用收集的数据训练一个神经网络Δ = f_φ(s, a)，使得s_{t+1}^real ≈ s_{t+1}^nominal + Δ。这里s_{t+1}^nominal由标称仿真模型根据(s_t, a_t)计算得出。
3. 仿真训练：在强化学习训练循环中，每一步都调用“标称模型 + 残差模型”来得到下一状态，从而策略是在一个更真实的动力学模型中学习。

注意事项与心得：

1. 分布外（OOD）问题：残差模型只在训练数据分布内有效。如果策略在仿真中探索到了数据分布外的状态-动作对，残差模型的预测可能不可靠，导致“幻觉”。因此，数据收集需要有一定的探索性。
2. 实时性：在仿真训练中每一步都查询神经网络残差模型，会增加计算开销。需要确保模型足够轻量。
3. Sim2Real 2.0的进步与局限：相比1.0，2.0通过数据缩小了鸿沟，能训练出性能更高、更自然的策略。但它本质上还是“一次性”的：先用真实数据修正仿真，然后在修正后的仿真中训练策略。如果机器人硬件磨损、环境发生剧变，可能需要重新收集数据、重新辨识和训练。

4. Sim2Real 3.0：在线适应与持续学习

4.1 核心范式：让策略自己学会适应

Sim2Real 3.0将适应能力从“环境侧”（修正仿真）转移到了“智能体侧”（增强策略本身）。其目标是让策略在部署到真实世界后，能够利用在线交互的少量数据，快速适应当前环境的特定动力学特性。这被称为在线自适应（Online Adaptation）或元强化学习（Meta-Reinforcement Learning）的思路。

核心想法是：在仿真中不仅训练一个策略，还训练一个能够快速适应新环境的“自适应机制”。这个机制通常体现为一个可快速更新的模型参数（如神经网络中某个特定层的权重），或者一个可以递归更新的隐状态（如RNN的隐藏状态）。在测试时（真实世界），机器人通过实时交互数据，在秒或分钟级别内调整这些参数，从而适应新环境。

石冠亚教授早期在无人机领域的工作Neural-Fly就是在线适应的典范。它使用一个元学习（Meta-Learning）框架，预训练一个深度神经网络来表示不同风况下的动力学变化。在真实飞行中，仅用几分钟的在线数据，就能快速调整网络内部参数，实现强风下的敏捷、稳定飞行。

4.2 技术实现：基于上下文（Context）的元学习

一种流行的框架是基于上下文的后验元学习（Context-Based Meta RL），例如PEARL。它将环境的不确定性编码为一个隐变量z（称为上下文）。在仿真训练阶段，策略π(a|s, z)学会根据不同的z采取不同的行为。同时，一个编码器网络q(z|c)学会从一段历史交互数据c = (s, a, s')中推断出当前环境的隐变量z。

在真实世界部署时：

1. 初始阶段，机器人执行一些探索动作（或正常任务），收集一小段数据c。
2. 用编码器q(z|c)推断出当前真实环境的隐变量z_real。
3. 策略使用π(a|s, z_real)进行控制，这个策略已经针对推断出的环境进行了“个性化”调整。

对于人形机器人，上下文c可以是几步之内的关节状态误差、脚底接触力与预期的差异等，这些信息隐含了地面摩擦、负载等动力学特性。

实操流程：

1. 仿真预训练：在大量随机化的仿真环境中，训练策略网络π_θ(a|s, z)和上下文编码器q_φ(z|c)。目标是最大化在不同环境z下的期望回报。
2. 在线适应循环：

   # 初始化：清空上下文缓冲区 context_buffer = [] for each control cycle: if len(context_buffer) < N: # 适应阶段 # 执行探索性动作或当前最佳动作 action = exploration_policy(state) execute(action) # 观测新状态，将 (s, a, s') 存入 context_buffer # 用最新的 context_buffer 推断 z z = encoder(context_buffer) else: # 适应后执行阶段 # 使用适应后的策略 action = policy(state, z) execute(action)

注意事项与心得：

1. 探索-利用的权衡：在线适应初期需要探索来收集信息，但这可能带来风险（如机器人摔倒）。如何设计安全、高效的探索策略是关键。
2. 计算延迟：在线推断z和策略计算必须在控制周期内（通常几毫秒）完成，对编码器和策略网络的计算效率要求高。
3. Sim2Real 3.0的价值：它实现了从“开环”到“闭环”适应的飞跃。机器人不再是带着一个固定的策略进入现实，而是带着一个“学习如何学习”的能力。这更接近生物的学习方式。然而，它通常假设环境在单次任务内是平稳的，对于持续、非平稳的变化挑战仍存。

5. Sim2Real 4.0：基础模型与零样本泛化

5.1 终极愿景：通向通用机器人的关键一步

Sim2Real 4.0是当前的前沿，其雄心是让机器人具备零样本（Zero-Shot）或少样本（Few-Shot）的泛化能力。即，在仿真中训练一个模型，无需任何针对性的真实世界调优或在线适应，就能在多样的真实任务中直接成功部署。这听起来像是天方夜谭，但近年来随着机器人基础模型（Foundation Models for Robotics）和大规模仿真预训练的兴起，正逐渐变得可能。

其核心支柱有两个：一是海量、多样化的仿真数据，二是能够从这些数据中提取通用技能的大容量模型架构。Sim2Real 4.0不再仅仅关注动力学差异，而是追求对任务语义、物理交互、场景理解的通用表征。石冠亚团队2026年ICLR的BFM-Zero和2026年CVPR的VIRAL工作，是这一方向的典型代表。

5.2 大规模仿真预训练与视觉-语言-动作模型

BFM-Zero（Behavior Foundation Model）展示了一个通过无监督强化学习在大量仿真任务上预训练的策略，如何能够实现零样本的目标到达、跟踪和任意奖励函数的优化。其关键在于预训练任务的极其多样性和课程设计，使得模型学到了关于机器人本体控制和物理交互的“常识”。

而VIRAL（Visual Sim-to-Real at Scale）则专注于视觉感知的Sim2Real。它系统地研究了视觉Sim2Real的缩放定律（Scaling Laws），发现当使用足够多样化的仿真视觉数据（不同的物体、纹理、光照、布局）和足够大的模型容量（如大型Transformer）进行预训练时，模型能够获得惊人的零样本真实世界泛化能力，实现鲁棒且持续的真实世界部署。

对于人形机器人全身控制，这意味着：

1. 构建超大规模仿真环境：包含成千上万种室内外场景、物体、任务（行走、跑跳、搬运、操作等），并施加极端的视觉和动力学随机化。
2. 训练多任务策略基础模型：使用类似Transformer的架构，以任务指令（如语言描述、目标图像）、视觉观察和历史动作为输入，输出动作。在超大规模仿真数据上进行预训练。
3. 零样本部署：在真实世界，给定一个新的任务指令（如“打开那扇门”），机器人能直接理解并执行，无需额外训练或适应。

技术挑战与当前方案：

• 仿真与现实的视觉差距：VIRAL等工作表明，通过大规模、程序化生成的视觉多样性，可以极大缓解这一差距。此外，使用特征级对齐而非像素级匹配，也是重要方向。
• 动力学差距：即使视觉泛化了，动力学不匹配仍会导致失败。4.0阶段的思路是结合2.0和3.0的优点：使用大规模仿真预训练一个“先验”策略，同时保留一个轻量级的在线适应模块（如残差适配器），用极少量的真实交互数据做快速微调。这被称为“预训练-微调”范式。
• 数据效率与安全：如何设计安全的探索机制，让真实机器人能高效收集对微调有用的数据，是落地关键。

实操心得与展望：

1. 计算是新的瓶颈：Sim2Real 4.0严重依赖大规模分布式仿真和超大模型训练，对计算资源的需求是指数级增长的。对于普通研究者或团队，利用开源的仿真资产库和中等规模集群进行探索是更现实的起点。
2. 仿真引擎的选择：对物理精度要求高的全身控制，MuJoCo、Isaac Gym仍是主流。对于需要极致视觉多样性的，可能需要在Unity、Unreal Engine等图形引擎中构建仿真，并通过物理接口与控制器连接。
3. 评估标准的变化：在4.0时代，评估一个Sim2Real方法的好坏，不再是看它在某个特定任务上的成功率，而是看其泛化能力的广度和数据效率。例如，一个模型在100个未见过的真实场景中的平均成功率，以及达到某个性能阈值所需真实交互步数。
4. Sim2Real 4.0不仅是技术，更是系统工程：它涉及仿真基础设施、数据流水线、分布式训练框架、模型架构设计、真实机器人平台软硬件集成等一系列挑战。石冠亚团队能在此方向取得连续突破，与其强大的系统工程能力密不可分。

6. 人形机器人全身控制的核心挑战与应对

6.1 高维度、欠驱动与实时性

人形机器人全身控制（Whole-Body Control, WBC）是Sim2Real问题最具挑战性的试验场之一。一个典型的人形机器人有30个以上的关节（高维度），靠双脚与地面点接触（欠驱动），并且需要在毫秒级完成感知、规划、控制（实时性）。在仿真中训练一个WBC策略已非易事，将其转移到真实机器人更是难上加难。

传统的基于模型的WBC（如二次规划QP）依赖于精确的动力学模型，对Sim2Real差距极其敏感。而基于学习的方法，尤其是端到端的强化学习，提供了新的思路：直接学习从状态到关节扭矩的映射。但这也带来了新的问题：策略在仿真中学到的“平衡技巧”，可能严重依赖于仿真的特定动力学参数。

应对策略：

• 分层控制架构：这是目前的主流。高层（~10-100Hz）由RL策略或规划器产生目标步态、足部位置、躯干轨迹等。底层（~1kHz）由快速、鲁棒的传统控制器（如PD控制、阻抗控制）跟踪这些目标。这样，RL策略不需要学习高频、精确的扭矩控制，降低了学习难度和对模型误差的敏感性。石冠亚团队的很多工作都采用了这种架构。
• 在动作空间引入先验：不让RL直接输出原始关节扭矩，而是输出更高层的参考轨迹（如关节角度、足底力），由底层控制器稳定跟踪。这相当于给策略的学习空间加上了“安全护栏”。

6.2 接触动力学与不确定性建模

人形机器人控制的核心是与地面的接触。接触力的突然变化（如踩到石子、地面打滑）是导致失稳的主要原因。仿真中的接触模型（如线性互补问题LCP、弹簧阻尼模型）与真实世界的复杂接触（变形、摩擦各向异性等）存在显著差异。

应对策略：

• 在观测中强调接触信息：策略的输入不仅要包含关节状态，还必须包含足底力/力矩传感器（FT传感器）的读数，甚至其历史信息，让策略能感知接触状态。
• 对接触相关参数进行重点随机化/辨识：在Sim2Real 1.0/2.0中，地面摩擦系数、接触刚度/阻尼是需要重点处理的参数。可以对这些参数设置更宽的随机化范围，或进行更精细的辨识。
• 学习接触感知的残差模型：像ASAP这样的工作，其残差模型很大程度上就是在学习真实世界与仿真之间接触动力学的差异。

6.3 数据收集与安全探索

获取真实人形机器人的交互数据成本高昂且风险大。让一个价值数十万美金、重几十公斤的机器人进行随机探索，极易导致硬件损坏。

应对策略：

• 仿真预训练，真实世界微调：这是最主流的路径。99.9%的训练在仿真中进行，仅用极少量的真实数据做最后校准或适应。
• 远程操作与演示学习：通过像OmniH2O或TWIST2这样的全身遥操作系统，让人类专家控制机器人完成复杂任务，收集高质量演示数据。这些数据既可用于行为克隆初始化策略，也可用于构建奖励函数，或用于逆动力学辨识。
• 安全约束与监控：在真实世界部署时，必须运行一个独立的安全监控模块（如基于模型的稳定区域估计、碰撞检测），一旦预测到危险，立即覆盖学习策略的输出，切换到安全的恢复控制器。

7. 从研究到落地：实用指南与避坑心得

7.1 如何为你的项目选择Sim2Real路径？

面对从1.0到4.0的众多技术，如何选择？这取决于你的资源、任务需求和机器人平台。

• 如果你的资源非常有限（单台机器人，有限算力），且任务相对固定（如特定地面上的行走）：建议从Sim2Real 2.0开始。花时间做好系统辨识，收集一些真实数据学习一个残差模型，往往能以较小的代价获得显著的性能提升。优先校准摩擦、质量等关键参数。
• 如果你的任务环境多变（如机器人需要适应不同地板、斜坡、负载），且有一定在线计算能力：Sim2Real 3.0的在线适应框架是合适的选择。可以从简单的基于递归网络（如GRU）的适应策略开始，它比完整的元学习更易实现。
• 如果你的目标是前沿探索，拥有大规模仿真集群和强大的工程团队，追求通用能力：那么应该深入Sim2Real 4.0。从构建多样化仿真环境开始，尝试训练一个多任务策略，并思考如何设计一个轻量级的实时适配器。
• 对于绝大多数初次尝试人形机器人RL的团队：一个稳健的起点是：Sim2Real 1.0风格的大范围域随机化 + 分层控制架构。先确保策略在仿真中极度鲁棒，然后通过2.0的方法进行精细化调整。不要一开始就追求4.0的零样本泛化。

7.2 实操中的常见“坑”与排查技巧

1. 仿真中表现完美，真实世界一启动就摔倒：

   • 排查：首先检查时间同步和延迟。仿真步长是否与真实控制周期一致？仿真中是否模拟了传感器滤波和执行器延迟？一个常见错误是仿真中动作是瞬时应用的，而真实世界存在几十毫秒的通信和控制延迟。在仿真中引入相应的延迟模型。
   • 检查：关节零位是否校准准确？一个微小的零位偏差会导致整个运动学链错误，进而使期望的脚掌位置在实际中变成导致摔倒的力矩。
   • 行动：从最简单的任务开始，如原地站立。大幅降低策略输出的动作幅度，甚至先让策略输出零动作，观察机器人是否能稳定站立（靠底层PD控制）。然后逐步增加任务难度。

2. 策略在真实世界运行几分钟后性能逐渐下降：

   • 排查：电机发热！这是最容易被忽略的现实因素。电机发热后，其扭矩常数会变化，阻力会增加，导致模型失配。仿真中很少模拟这种慢时变过程。
   • 应对：在Sim2Real 3.0的在线适应框架中，可以将电机温度（或估算温度）作为上下文的一部分。或者，定期（如每10分钟）让机器人执行一小段标准动作，重新拟合一下残差模型。

3. 视觉感知的Sim2Real差距巨大：

   • 排查：仿真渲染的图像和真实相机图像在亮度、对比度、噪声、纹理细节上差异巨大。直接输入给训练好的视觉策略必然失败。
   • 应对：优先使用域随机化（DR）和域自适应（DA）。在仿真中随机化光照、相机参数、纹理、添加噪声。更高级的做法是使用生成对抗网络（GAN）进行图像到图像的翻译，将真实图像风格迁移到仿真，或将仿真图像渲染得更逼真。VIRAL的工作指出，大规模、多样化的DR本身就能取得惊人效果。

4. 训练不稳定，策略性能震荡：

   • 排查：可能是随机化范围过大，或残差模型在分布外状态产生了荒谬的预测，导致策略学习目标不断变化。
   • 应对：记录训练过程中策略在固定测试环境下的性能。如果性能剧烈震荡，逐步缩小随机化范围，或为残差模型的预测添加正则化约束，防止其输出过大的值。

7.3 工具链与资源推荐

• 仿真平台：
  • Isaac Gym：NVIDIA出品，支持GPU并行仿真，非常适合强化学习训练，对人形机器人有较好支持。
  • MuJoCo：物理精度高，社区生态好，是学术研究的主流选择。新版MuJoCo已开源。
  • PyBullet：易用性好，开源免费，适合快速原型验证。
  • RAISIM：专注于物理精度和速度，适合对动力学保真度要求极高的场景。
• 强化学习框架：
  • RLlib：功能强大，支持分布式训练，适合大规模实验。
  • Stable-Baselines3：接口简单，易于上手，适合初学者和中等规模项目。
  • JAX-based frameworks (Brax, DM Control)：利用JAX的自动微分和硬件加速，能实现极高的仿真和训练速度。
• 人形机器人模型与控制器：
  • Open Humanoid Models：许多研究使用开源的URDF模型，如Cassie、Atlas（简化版）、Valkyrie等。可以从这些模型开始你的仿真研究。
  • 开源控制器：关注MIT Cheetah Software和Stanford Doggo等开源四足项目，其中许多全身控制（WBC）和状态估计模块的思想可以借鉴到人形机器人上。

从Sim2Real 1.0到4.0的演进，是一部机器人学习如何更好地理解并融入物理世界的编年史。它从最初的“蛮力对抗”不确定性，发展到“用数据对话”现实，再到“让智能体自带适应能力”，最终迈向“构建通用物理常识”的宏伟目标。石冠亚团队的教程和系列工作，为我们清晰地标注了这条路上的里程碑和路标。实现人形机器人的敏捷、鲁棒全身控制，Sim2Real是必须翻越的高山，而这条从仿真到现实的迁移之路，本身也是一场持续学习与适应的精彩旅程。