1. 项目概述：当机器学习成为工程系统的一环

最近几年，四足机器人、双足机器人这些能跑能跳的“铁疙瘩”越来越火，从实验室的样机到商业化的产品，背后绕不开一个核心难题：腿式运动控制。让机器像动物一样在复杂地形上稳健行走、奔跑甚至跳跃，这绝对是个硬骨头。传统的控制方法，比如基于模型的轨迹规划，在面对未知的、不平整的地面时，往往显得笨拙且脆弱。于是，机器学习，特别是强化学习，被寄予厚望。但如果你认为“上ML就能解决一切”，那可能踩进第一个大坑。我这些年折腾过不少机器人项目，从仿真到实机，一个深刻的体会是：机器学习从来不是“银弹”，它更像是一把精密的瑞士军刀，只有在整个工程系统框架里找到合适的位置，才能发挥最大威力。这个项目标题“Learning Leged Locomotion: ML as one tool in an engineered system”就精准地戳中了要害——它探讨的不是用ML替代一切，而是如何将ML作为工具之一，嵌入到一个精心设计的工程系统中，共同解决腿式运动这个复杂问题。

这适合谁看呢？如果你是机器人领域的学生或工程师，正在尝试将强化学习应用到真实的机器人平台上，这篇文章能帮你避开“重算法轻工程”的陷阱。如果你对AI与机器人系统的结合感兴趣，想了解前沿的落地思路，这里提供了从顶层设计到底层实现的完整视角。简单说，我们聊的不是纸上谈兵的算法，而是如何让算法在真实的物理世界里“活”起来，稳定、可靠地工作。核心关键词“Legged Locomotion”和“ML”将贯穿始终，我们会拆解为什么纯ML方案行不通，以及一个稳健的工程系统需要哪些不可或缺的组成部分。

2. 核心思路：为什么纯端到端ML不是答案

很多刚接触这个领域的朋友，容易陷入一个误区：收集大量数据，设计一个复杂的神经网络，输入传感器信息，直接输出关节力矩或位置，让机器人自己“学”会走路。这听起来很美好，像是终极解决方案，但在工程实践中，这条路往往通向的是仿真里看似完美、一上实机就“扑街”的结局。为什么？因为现实世界的物理系统充满了不确定性、延迟、噪声和硬性约束，而端到端的“黑箱”模型对这些问题的鲁棒性极差。

2.1 纯ML方案的三大致命短板

首先，样本效率与安全性问题。在仿真中训练一个策略可能需要数百万甚至上亿步的交互，这换算成真实时间是不可接受的。更重要的是，在训练初期，策略会产生大量完全随机、甚至自毁式的动作。在仿真里，重置环境只需一行代码；在实机上，这可能意味着电机过载、机械结构损坏，甚至机器人翻倒造成危险。没有哪个工程团队能承受这样的试错成本。

其次，可解释性与调试困难。当一个端到端策略在某个特定台阶上突然摔倒时，你几乎无法诊断问题出在哪里。是某个关节的扭矩响应延迟了？是状态估计器漂移了？还是策略网络对某个传感器噪声产生了过激反应？由于整个决策链条是黑箱，调试变成了“玄学”，你只能盲目地调整网络结构、奖励函数，或者增加更多数据，效率极低。

最后，无法利用先验知识与领域约束。人类和动物 locomotion 的控制是分层的，从高层的步态选择、落脚点规划，到中层的全身动力学控制，再到底层的关节阻抗调节。我们已知的物理规律（如牛顿力学）、机器人的机械限位（最大速度、扭矩）、能耗约束等，很难被有效地、可靠地编码进一个端到端的神经网络中。强行让网络学习这些，不仅增加了学习难度，也未必能保证在所有情况下都遵守约束。

2.2 工程化系统的分层设计理念

因此，一个稳健的思路是采用分层架构，将ML作为其中一环，而非全部。一个典型的工程化腿式运动系统可能包含以下层次：

1. 高层决策与规划层：基于环境感知（如摄像头、激光雷达），决定“去哪里”、“以什么步态去”。这部分可以引入ML，例如用学习的方法来预测更优的落脚点，或者根据地形自适应选择步态参数。但它的输出是高层指令，如期望的机体速度、朝向、步态周期等。
2. 中层控制器层：将高层指令转化为具体的身体运动轨迹或力控指令。这里大量运用基于模型的控制器，如模型预测控制（MPC）、全身控制（WBC）。它们的优势是能显式地处理动力学约束、保证稳定性。ML可以在这里作为“补偿器”或“适配器”，例如，学习一个残差模型来补偿仿真与实机的动力学差异（Sim-to-Real），或者学习如何微调控制器的参数以适应不同地面摩擦系数。
3. 底层执行与状态估计层：涉及电机驱动、编码器读数滤波、惯性测量单元（IMU）数据融合（状态估计）。这一层通常是纯工程的、确定性的，要求极高的实时性和可靠性。ML在这里的应用非常谨慎，可能仅限于信号处理（如用学习的方法滤除特定噪声），但主体仍是卡尔曼滤波等经典算法。

在这种架构下，ML工具被用在它最擅长的地方：处理高维、非线性的映射关系，补偿模型误差，适应不确定性。而系统的稳定性、安全性、实时性则由传统的控制理论和精心设计的工程模块来保障。这就像造一辆车，ML是那个能根据路况自动调整悬挂和动力分配的“智能大脑”，但刹车系统、转向机构、车身框架这些关乎安全的基础，必须由经过严格验证的机械和控制系统来负责。

3. 核心模块拆解与ML的嵌入点

理解了分层架构，我们再来具体看看，ML这个“工具”可以如何被巧妙地“嵌入”到各个模块中。我将结合一个典型的四足机器人案例，拆解几个关键的嵌入点。

3.1 状态估计与感知中的学习增强

机器人的“眼睛”和“耳朵”是状态估计器，它融合IMU、关节编码器、足端接触开关等信息，来计算机体在空间中的位姿、速度以及足端与地面的接触状态。传统的基于滤波的方法（如扩展卡尔曼滤波）在平整地面表现良好，但在发生足部打滑、剧烈冲击时，估计值容易发散。

注意：足端打滑是腿式机器人状态估计中最棘手的问题之一。纯惯性导航会因积分产生巨大漂移，而依赖足端作为“锚点”的滤波方法在打滑瞬间会引入错误观测。

这里，ML可以作为一个观测残差学习器。具体操作是，在仿真中，我们可以获取机器人的真实状态（Ground Truth）。同时，我们运行一个基础的状态估计器。将基础估计器的输出、原始的传感器读数（如IMU的角速度、加速度，关节电机电流）以及一段时间的历史窗口数据，输入到一个神经网络中。训练这个网络去预测基础估计器输出与真实状态之间的误差。在实机上，我们没有真实状态，但我们可以使用这个训练好的网络，实时预测当前估计可能存在的误差，并对其进行补偿。

实操要点：网络结构通常选择时序模型，如LSTM或Transformer，以利用历史信息。训练数据需要覆盖各种打滑、碰撞、不同地面材质的场景。一个关键技巧是，在仿真中要人为地添加与实机匹配的传感器噪声模型（白噪声、偏置），这样学习到的补偿器才能更好地迁移。

3.2 控制器参数自适应与奖励塑形

中层控制器，比如一个基于简化模型（弹簧负载倒立摆SLIP）的MPC，它有很多参数：步态周期、摆动腿高度、身体姿态刚度、阻尼等等。在平整地面上，一组固定参数可能工作良好。但当地面变成沙地、草地、碎石路时，最优参数会发生变化。

ML在这里可以扮演一个参数调节器。我们可以训练一个策略网络，输入当前机器人的状态（如身体倾斜角、各腿负载）和简单的环境特征（可由IMU的高频振动频谱简单推断地面粗糙度），输出对MPC控制器一组关键参数的调整量。这个策略网络可以通过强化学习来训练，奖励函数直接设置为机器人的运动稳定性（如身体姿态角变化小）、能耗效率高。

实操心得：直接让RL策略输出底层控制信号（如关节力矩）非常困难，但让它输出十几二十个高级控制参数的微调量，则是一个可行得多、也安全得多的任务。因为MPC控制器本身是一个稳定器，即使RL策略输出不佳的参数，MPC仍然能产生一个“物理上合理”的控制动作，不至于让机器人立刻摔倒。这大大降低了训练风险，提升了样本效率。

3.3 仿真到实物的迁移学习

这是ML在机器人领域最经典的应用场景之一。我们不可能在实机上从头训练，所以必须在仿真中训练，然后迁移到实物。但仿真永远是不完美的，存在“现实差距”。

这里的ML工具主要是域随机化和系统辨识。域随机化是指在仿真训练时，随机化各种物理参数，如地面摩擦系数、电机响应延迟、连杆质量、传感器噪声水平等。这样训练出来的策略，学会了不依赖于某个精确的仿真模型，而是对一个参数分布鲁棒，从而更可能适应真实的物理世界。

更进一步，我们可以用ML进行系统辨识。在实机上收集少量数据（如让机器人执行一些预设动作，记录输入输出），然后用这些数据来校准仿真模型中的关键参数（如阻尼系数、传动效率）。甚至可以训练一个“残差动力学模型”，这个模型学习真实世界与仿真世界动力学之间的差异。在仿真训练时，将这个残差模型加入到仿真器中，让策略提前适应这种差异。

常见问题：域随机化范围设多大？太小了策略过拟合仿真，太大了策略学不会。一个实用的技巧是分层随机化：对影响巨大的参数（如地面摩擦）使用大范围随机化；对相对稳定的参数（如机体质量）使用小范围随机化。同时，可以从一个较小的范围开始，随着策略性能提升，逐步扩大随机化范围。

4. 一个完整的工程化实现流程

让我们以一个具体的例子，串联起上述模块，看看如何从零搭建一个具备学习能力的腿式运动系统。假设我们有一个12关节的四足机器人平台。

4.1 第一阶段：搭建基础控制与仿真环境

在动用任何ML之前，必须先有一个能稳定工作的基础。这包括：

1. 硬件抽象层：编写稳定的电机驱动程序，实现位置、速度、扭矩控制模式。确保通信（如CAN总线、EtherCAT）的低延迟和高可靠性。
2. 状态估计模块：实现一个基于EKF的滤波器，融合IMU和关节编码器数据，实时估计机体位姿、速度及足端接触状态。这是所有高级控制的基石。
3. 基础步态控制器：实现一个基于有限状态机的交替三脚站立（Trot）步态发生器。它不追求高性能，但必须足够稳定，能让机器人在平地上缓慢移动。这个控制器将作为我们后续学习的“安全备份”和“初始化工具”。
4. 高保真仿真环境：使用PyBullet、MuJoCo或Isaac Gym搭建仿真环境。仿真模型要尽可能精确，包括质量、惯性、关节摩擦、电机模型（考虑扭矩饱和和带宽）。这个仿真环境将是我们训练ML策略的主战场。

实操现场记录：在搭建仿真环境时，最容易低估的是电机模型。一个简单的PD控制器在仿真里可能表现完美，但实机上因为电机响应延迟和带宽限制，会导致系统振荡。务必在仿真中加入一个一阶或二阶的电机动力学模型，其时间常数需要通过实机阶跃响应测试来标定。

4.2 第二阶段：在仿真中训练ML策略

有了稳定的基础仿真，我们可以开始训练ML策略了。以“让机器人以最快速度稳健行走”为目标。

1. 定义观察空间：通常包括机体姿态（欧拉角或四元数）、机体角速度和线速度（在机体坐标系下）、关节位置和速度、上一个周期的动作、以及一个用于指示步态相位的时钟信号。避免直接使用世界坐标系下的绝对位置，因为这会使策略依赖于精确的状态估计，不利于鲁棒性。
2. 定义动作空间：输出关节的目标位置或目标扭矩。对于位置控制，输出目标角度；对于扭矩控制，输出目标扭矩。从样本效率和稳定性考虑，通常输出目标关节位置增量（Δθ）是更好的选择，因为它更平滑。
3. 设计奖励函数：这是强化学习的灵魂。一个有效的奖励函数通常是多项的加权和：
   • 前进奖励：机体坐标系下向前（X轴）的速度。
   • 存活奖励：每存活一步给予一个小奖励，鼓励长期生存。
   • 姿态惩罚：惩罚身体俯仰和滚转角度偏离零位。
   • 动作平滑惩罚：惩罚相邻两步动作之间的巨大变化，使运动更流畅。
   • 能耗惩罚：惩罚关节扭矩与速度的乘积（近似功率）。
   • 足端滑移惩罚：如果足端速度与预期支撑模式不符，则给予惩罚。
4. 选择算法与训练：使用PPO、SAC等成熟的On-Policy或Off-Policy算法。在训练中，必须开启域随机化。随机化地面摩擦（0.3-1.2）、地面不平度、机体质量/惯性（±10%）、电机强度（增益和带宽）、传感器噪声和延迟。训练可能需要数千万到上亿步，在GPU上通常需要几天到一周时间。

提示：奖励函数的调参是个艺术。建议先只使用前进奖励和存活奖励，让机器人“动起来”。然后逐步加入其他惩罚项，每次调整后观察策略行为的变化。权重系数需要反复试验，一个常见的顺序是：先学走，再学走稳，最后学走得省力。

4.3 第三阶段：仿真到实物的迁移部署

训练出一个在仿真中健步如飞的策略后，最关键的挑战来了：让它上真机。

1. 策略蒸馏与简化：仿真中训练的策略网络可能比较复杂（如多层MLP）。为了在算力有限的嵌入式控制器（如NVIDIA Jetson或高性能MCU）上实时运行（要求>500Hz），可能需要对网络进行剪枝、量化或蒸馏到一个更小的网络。
2. 设计安全监控与切换逻辑：这是工程系统的核心安全阀。部署时，不能简单地将ML策略的输出直接发给电机。必须有一个安全监控模块，实时检查：
   • 身体姿态是否超过安全阈值（如俯仰>30度）。
   • 关节位置、速度、扭矩是否接近硬件限位。
   • 状态估计器是否置信度低（如检测到持续打滑）。 一旦触发任何一项，系统应立即从ML策略切换回第4.1阶段开发的基础步态控制器，并尝试进入一个稳定的站立状态。
3. 在线自适应：在实机上运行后，可以收集数据。这些数据有两个用途：一是用于进一步校准仿真模型，缩小现实差距；二是可以尝试极轻量级的在线微调。例如，固定策略网络的大部分层，只微调最后一层，来适应本台机器人特有的机械属性（如一条腿的齿轮间隙稍大）。在线学习必须非常谨慎，要有严格的约束和回滚机制。

5. 典型问题排查与工程实践心得

将ML策略部署到实机，就像第一次让学步车里的孩子自己走路，状况百出。下面是我从多次失败中总结出的常见问题与排查清单。

5.1 策略在仿真中完美，上实机就高频振荡或摔倒

• 可能原因1：仿真电机模型过于理想。仿真中的电机可以瞬时达到目标扭矩或位置，但实机电机有响应时间和带宽限制。
  • 排查：在仿真中为电机模型增加延迟和低通滤波。重新训练策略，观察振荡是否在仿真中复现。
  • 解决：用系统辨识方法（如频率响应测试）标定实机电机的传递函数，并将其建模到仿真中。
• 可能原因2：通信延迟未被考虑。从策略计算完成到指令送达电机，存在不可忽略的延迟（可能达几毫秒到十几毫秒）。
  • 排查：测量整个控制回路的延迟。在仿真中引入相同的延迟。
  • 解决：在策略的观察空间中，不仅包含当前状态，还可以包含过去几帧的状态和动作，让策略自己学会预测和补偿延迟。或者，在控制器层面使用史密斯预估器等方法来补偿固定延迟。
• 可能原因3：状态估计噪声与仿真不符。仿真中可能使用了近乎完美的状态，而实机状态估计存在噪声和漂移。
  • 排查：在仿真中，将状态估计器的输出（带噪声）作为策略的输入，而不是真实状态。对比策略性能。
  • 解决：在仿真训练时，就对状态观测值添加与实机匹配的噪声模型（高斯噪声、偏置）。

5.2 机器人能够行走，但动作僵硬、不自然，能耗高

• 可能原因：奖励函数中“动作平滑惩罚”权重过高，或“能耗惩罚”权重过低。
  • 排查：观察关节力矩曲线，是否出现高频、大幅度的抖动？测量整机功耗是否显著高于预期？
  • 解决：调整奖励函数权重。降低“动作平滑惩罚”，鼓励策略探索更动态的运动；提高“能耗惩罚”，迫使策略寻找更高效的步态。也可以引入基于频率的惩罚，专门抑制特定高频抖动。
• 更深层原因：策略陷入了局部最优。它找到了一种能“苟活”并获取基础奖励的方式，但没有动力去探索更优解。
  • 解决：尝试课程学习。从简单的任务开始（如平地慢走），逐步增加难度（提高目标速度、增加地面不平度）。在训练初期，可以给策略注入更多探索噪声。

5.3 面对未知地形（如高台阶、软泥地）表现急剧下降

• 可能原因：仿真训练时的域随机化范围不够宽，或缺少此类地形。
  • 排查：回顾仿真训练环境，是否包含了足够多样的地形几何与物理属性？
  • 解决：扩大域随机化范围。特别是地形高度场，应随机生成从平坦到极度崎岖的各种模式。对于软地面，可以随机化地面的刚度（Spring Constant）和阻尼。
• 工程补充：增加反应式反射层。ML策略是“前馈”的，基于当前状态做决策。对于突发的、大的扰动（如踩到一块松动的石头），纯策略反应可能不够快。可以增加一个基于阻抗控制的低层反射环。当足端接触力瞬间异常增大时，本地控制器可以快速调整该腿的柔顺性，吸收冲击，为上层的ML策略重新规划争取时间。这就是典型的“ML负责高级适应，传统控制负责瞬时保命”。

最后分享一个最重要的心得：日志记录系统是你的生命线。必须建立一个详尽的数据记录系统，在实机测试时，同步记录所有传感器的原始数据、状态估计值、策略的观察值、动作输出值、安全监控标志位、控制器模式等。当出现问题时，回放这些日志，几乎能定位99%的原因。没有日志，调试就像在黑暗中摸索，事倍功半。