「18ms实现感知规划一体化」
目录
01 整套架构三大核心原创设计
1.1 双流混合Transformer（MoT）双向耦合世界与动作
1.2 7阶伯恩斯坦多项式：控制器原生友好轨迹表征
1.3 三级深度金字塔双阶段训练策略
1.4 流匹配联合损失函数
02 仿真闭环实验：高速、密集场景全面领先
03 实机机载全流程验证
3.1 机载硬件与流水线耗时
3.2 室内零样本泛化测试
3.3 户外林地实飞效果
04 落地适用场景与未来拓展方向
工程落地价值
现有局限与后续研究方向
05 总结
当前杂乱环境无人机自主导航分为建图优化、端到端学习两条主流路线，前者建图带来延迟与噪声问题，高速密集场景避障滞后；后者仅做即时反应，缺少未来环境预判。
现有世界动作模型（WAM）多适配机械臂，难以在无人机嵌入式设备实时运行，航空类同类方案也无法输出控制器适配的平滑轨迹。
来自北京理工大学、上海交通大学、香港大学的联合团队（通讯作者王刚）推出FlowPilot，针对性解决以上矛盾：
基于流匹配（Flow Matching）双流混合Transformer架构，同步预测未来深度场景与可执行平滑轨迹；采用7阶伯恩斯坦多项式压缩动作表征，Jetson Orin NX机载端全套感知-规划流水线总耗时低于18ms，室内、林地杂乱环境最高飞行速度达5.5m/s，在仿真8m/s高速场景、实机复杂障碍场景成功率全面超越优化类、纯学习类基线。
01 整套架构三大核心原创设计
整套系统核心逻辑：
输入机载单目深度图、机体状态、上一段轨迹与目标速度，双流Transformer共享注意力完成场景与动作协同去噪；训练阶段同步监督未来深度预测、轨迹分布，部署阶段仅输出轨迹、舍弃深度解码，大幅削减机载计算开销。
1.1 双流混合Transformer（MoT）双向耦合世界与动作
网络拆分为视频专家、动作专家两条独立分支，各自保留专属编码器、前馈网络，仅通过联合视频-动作共享注意力互通信息，两条流采用独立流匹配时间步长调控去噪进程：
- 视频专家：基于冻结Wan VAE编码当前+未来深度图像，学习环境时序演化规律，输出未来深度隐变量，为轨迹生成提供障碍物预判先验；
- 动作专家：编码机体位姿、速度指令、上一段轨迹，输出伯恩斯坦多项式自由控制点隐变量；
图| 双流MoT网络架构图
关键创新是双向信息流通：动作分支生成轨迹时能读取预测的前方障碍物分布，深度分支预测场景时同步参考无人机即将执行的飞行路径，实现“看前路、算路径”互相约束，区别于先预测画面再单独规划的分离式方案。
落地层面做了轻量化取舍：推理时无需解码完整未来深度图，仅保留动作分支输出，把世界模型的预测能力作为训练辅助监督，不占用闭环控制算力。
1.2 7阶伯恩斯坦多项式：控制器原生友好轨迹表征
传统方案直接回归离散航点存在致命缺陷：
航点仅约束位置，求导后速度、加速度、加抖（jerk）剧烈震荡，控制器跟踪难度极大，必须额外加平滑模块增加延迟。
图| FlowPilot 可生成具备多模态特性的平滑轨迹分布
FlowP放弃独立航点，采用8控制点7阶伯恩斯坦曲线表征1.6s规划时域完整轨迹：
公式简化解读：轨迹，
为伯恩斯坦基函数 前3个控制点由无人机当前位置、速度、加速度硬约束锁定，仅预测剩余5个自由控制点，动作隐变量仅5×3共15维，大幅压缩网络输出维度、缩短推理时长； 速度、加速度、加加速度均可通过控制点闭式求导，无需数值差分，天然保证
二阶连续平滑，输出轨迹可直接送入100Hz MPC跟踪器，无需后置平滑。
另外流匹配生成多模态轨迹分布：遇到障碍物存在左右绕行多条可行路径时，模型会生成多条备选曲线，不会像确定性回归直接取平均碰撞路线，提升高速避障安全性。
1.3 三级深度金字塔双阶段训练策略
（1）分层数据集解决仿真与真机域 gap
训练数据三层金字塔结构，兼顾数据规模与真机传感器真实噪声：
- 底层（16h）：IsaacLab高速并行仿真，海量多样几何场景，覆盖全部运动工况；
- 中层（8h）：Flightmare高真实感仿真，还原树木、建筑等真实纹理；
- 顶层（2h）：实体无人机户外采集深度数据，复刻机载相机噪声、测距截断等硬件特性。
（2）两阶段分治训练，先学环境再对齐动作
图| FlowPilot 两阶段训练机制
阶段1（世界建模预训练）：屏蔽动作、速度、历史轨迹token，仅用深度数据训练视频专家，让模型先学会杂乱环境的视觉演化规律，建立通用导航场景先验；
阶段2（世界-动作对齐）：打开全部token共享注意力，同步优化视频、动作双损失，使用激光高精度SUPER规划器生成专家轨迹做监督，让预判环境与轨迹生成互相对齐。
额外引入历史轨迹软条件约束：把上一轮规划轨迹作为输入token，而非直接热启动去噪，避免模型重复输出完全相同路径、丧失多模态绕行能力，同时缓解连续规划之间轨迹跳变、控制器剧烈震荡的问题。
1.4 流匹配联合损失函数
采用线性插值流匹配作为双分支统一训练目标，分别对深度隐变量、伯恩斯坦控制点隐变量计算速度场损失，总损失，权重平衡场景预测与轨迹生成的训练权重。
两条流独立采样噪声等级，覆盖“场景清晰但路径模糊、路径确定但未知前方环境”等全部推理工况，一套网络同时具备世界模型与规划器双重能力。
02 仿真闭环实验：高速、密集场景全面领先
仿真环境采用随机树木森林场景，分稀疏、密集两类障碍物布局，对比基线：EGO-Planner（优化类标杆）、YOPO（单阶段学习规划）、FlowPilot无深度预测消融版。
图| 不同障碍物疏密程度与飞行速度下的方案成功率对比
核心指标解读：
1. 速度3~8m/s区间，原版FlowPilot全程维持最高成功率；障碍物越密集，消融版、EGO-Planner、YOPO性能断崖下跌，证明同步预判未来深度是高速避障核心增益；
图| PX4 仿真下启用 / 冻结未来深度分支的各项性能消融对比
2. 消融实验：冻结深度预测分支后，碰撞率从4%暴涨至26%，平均速度下降0.31m，峰值速度降低0.53m/s。
该指标真实含义：仅靠当前画面的反应式规划容错率极低，对前方障碍物的显式预判能大幅降低碰撞风险；
图| 未来深度预测推演效果图
补充定性结果：模型可完整推演未来1.6s视野内障碍物排布，无人机提前减速绕行；仅依靠当前观测的消融版本只能近距离才识别障碍，急刹、急转弯动作大幅增多，控制器跟踪压力显著上升。
03 实机机载全流程验证
3.1 机载硬件与流水线耗时
硬件平台：OddityRC 35Pro四旋翼，Intel RealSense D455深度相机，Jetson Orin NX 16GB，PX4飞控搭配OMMPC 100Hz跟踪控制器。
整套流水线时延拆分：
图| 机载感知 - 规划全流水线推理时延统计表
深度预处理4.747ms、蒸馏深度编码器1.163ms、3步流去噪14.924ms，总推理最大耗时17.055ms，整体感知到轨迹输出稳定低于18ms，完全满足高频率闭环控制硬性要求；下游MPC跟踪仅增加2.384ms时延，不存在规划延迟导致的失控风险。
3.2 室内零样本泛化测试
训练仅使用森林仿真数据，直接在两类全新人工障碍室内环境试飞，属于完全零样本迁移：
图| 实机无人机与室内杂乱测试场景
- 宽松室内场景峰值3.8m/s；
- 障碍物极拥挤窄通道场景峰值3.1m/s；
证明模型不是记忆树木纹理，而是学习通用障碍物规避逻辑，对未知人造障碍具备泛化能力。
3.3 户外林地实飞效果
图| 丘陵林地室外真机自主飞行结果
丘陵林地场景树干直径0.3~0.6m，地形落差最大4m，最长单次飞行100m：
开阔区域稳定5.5m/s高速穿行，树木密集区域自动降速至4m，全程无离线地图、无外部定位辅助，仅依靠机载深度与机体状态完成自主导航，是目前单深度视觉无地图方案的速度第一梯队。
04 落地适用场景与未来拓展方向
工程落地价值
室内仓储、地下管廊无GPS高速巡检无人机：无需提前构建场景地图，开箱自主穿梭障碍物；
- 低矮林地、山区近距勘察：仅搭载低成本深度相机，轻量化机载计算，降低整机硬件成本；
- 应急搜救小型敏捷无人机：杂乱废墟内高速自主穿行，无需地面站实时回传建图数据。
现有局限与后续研究方向
- 感知单一：仅依靠单目深度，融合激光、RGB多模态感知可补齐薄障碍物盲区；
- 规划时域短：拓展长时序世界模型，实现数百米远距离连续自主导航；
- 环境局限：当前仅静态障碍物，未验证行人、移动车辆等动态障碍避障；
- 拓展机型：适配固定翼、垂直起降巡检飞行器，拓宽适用平台。
05 总结
FlowPilot填补了机载实时世界动作模型在敏捷无人机高速导航领域的空白，通过双流共享注意力完成环境预判与轨迹生成双向约束，搭配伯恩斯坦多项式解决学习方案轨迹震荡痛点，三级分层数据大幅缩小仿真与真机域偏差。
整套方案轻量化、低延迟，在仿真8m/s、实机5.5m/s杂乱环境实现稳定无地图自主飞行，为单深度视觉低成本高速无人机导航提供一套完整可落地的学习规划一体化框架，同时也证明世界动作模型无需在推理阶段解码完整视觉画面即可有效提升飞行器避障性能，为后续机载世界模型研发提供全新轻量化思路。
Ref
论文标题：FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation
论文链接：https://arxiv.org/pdf/2608.00635