移动灵巧手高速抓取能靠触觉稳住吗?FastGrasp仿真未见物体成功率达到50.09%
高速抓取不只是“抓得准”,还要在移动底盘、机械臂和灵巧手高速协同时处理冲击、滑移和物体反弹。FastGrasp 提出一个学习式全身控制框架,把抓取候选生成、移动操作控制和触觉反馈放到同一个高速抓取流程里。实验中,FastGrasp 在仿真未见物体完整点云条件下平均成功率达到50.09%,在部分点云条件下达到38.51%。真实机器人低速设置下平均成功率达到34.62%。
核心逻辑:
物体点云输入 ➔ CVAE 生成多样化抓取候选 ➔ GWC/GDC 选择高质量抓取引导 ➔ 强化学习全身控制底盘、机械臂和灵巧手 ➔ 二值触觉反馈修正接触状态 ➔ 实现移动高速灵巧抓取
具体的实验流程与核心架构解析
1. 移动灵巧手高速抓取系统
FastGrasp 的真实平台由 Agilex Bunker Mini 移动底盘、Dobot CR5 机械臂、16 自由度 LeapHand、RealSense D435i 相机和触觉传感器组成。策略在真实部署中以15Hz推理,尽量保持和仿真训练一致。
图 1:FastGrasp 在仿真和真实场景中的演示。该图展示了 FastGrasp 在 Isaac Sim 仿真和真实机器人上的高速抓取场景,突出移动底盘、机械臂和灵巧手的协同执行。
2. 系统设置
FastGrasp 不采用固定底座灵巧手,而是让移动底盘参与全身控制,从而扩大可操作范围。物体被放置在机器人前方至少2.0m处,方便底盘加速并形成高速接近过程。
图 2:系统设置。该图展示了真实机器人系统和仿真环境设置,包括移动底盘、机械臂、灵巧手、腕部 RGB-D 相机和触觉输入。
3. 两阶段策略框架
第一阶段用 CVAE 根据物体点云生成多样化抓取候选;第二阶段让强化学习策略根据最优抓取引导,控制底盘速度、机械臂关节和灵巧手关节。
图 3:FastGrasp 框架总览。该图展示了从点云感知、抓取候选生成、抓取质量筛选到全身控制策略执行的完整流程。
实验表现
表 1:仿真未见物体的成功率和手-物距离。
FastGrasp 在完整点云条件下平均成功率达到50.09%,高于两阶段力方向选择方法的41.99%。在部分点云条件下,FastGrasp 仍达到38.51%,而多个基线方法退化到0%。
表 2:奖励、触觉和抓取引导消融实验。
消融结果显示,去掉触觉观测会让平均成功率下降15.65 个百分点,去掉触觉奖励会下降11.56 个百分点。这说明触觉不是装饰,而是在高速接触中稳定抓取的关键反馈。
表 3:真实机器人成功率。
真实实验中,FastGrasp 在高速设置下平均成功率为32.00%,在较低速度设置下平均成功率为34.62%。没有域随机化、低通滤波或触觉适配时,真实成功率会明显下降甚至归零。
结论
FastGrasp 的价值在于,它把移动操作、灵巧抓取和触觉反馈放到高速场景里一起考虑,而不是只做静态抓取或简单移动夹取。在仿真未见物体上,FastGrasp 完整点云成功率达到50.09%,部分点云成功率达到38.51%;真实机器人低速设置下达到34.62%。不过真实成功率仍不算高,说明高速灵巧抓取的 sim-to-real gap、触觉建模和接触稳定性仍是后续关键难点。