三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

大模型+机器人:VLA(Vision-Language-Action)范式解析

大模型+机器人:VLA(Vision-Language-Action)范式解析

文章目录

    • 每日一句正能量
    • 一、从"感知-决策-执行"到"端到端理解"
    • 二、VLA的技术谱系:从RT-1到π0
      • 2.1 里程碑模型对比
      • 2.2 RT-2:VLA的"开山之作"
      • 2.3 π0:流匹配的动作生成
    • 三、VLA的三种技术路线
      • 路线一:自回归生成(RT-2风格)
      • 路线二:扩散生成(Diffusion Policy风格)
      • 路线三:流匹配生成(π0风格)
    • 四、实战:OpenVLA微调与部署
      • 4.1 模型架构解析
      • 4.2 推理部署
    • 五、VLA的挑战与前沿
      • 5.1 当前瓶颈
      • 5.2 2026年前沿方向
    • 六、结语

每日一句正能量

活得漂亮不是为了给谁看,而是为了不辜负这仅有一次的滚烫人生。
漂亮的生活不是表演,不是活成朋友圈的样子,而是对自己负责。人生短暂且热烈,不辜负意味着:认真对待自己的渴望,勇敢去爱、去试、去感受。当你不再盯着别人的眼光时,反而会活出一种自有光芒的漂亮。

当GPT-4能写诗,RT-2能让机器人把香蕉放到猴子旁边。这不是两个独立的技术,而是同一种"世界理解"在不同模态上的投射。


一、从"感知-决策-执行"到"端到端理解"

传统机器人控制是分层的、模块化的、人工设计的

传统架构: 视觉模块 → 检测物体、估计位姿 ↓ 语言模块 → 解析指令、任务规划 ↓ 运动规划 → 路径规划、避障 ↓ 底层控制 → 关节力矩、伺服跟踪

每个模块独立训练、独立优化,模块间的接口是人工定义的(如边界框、语义标签、轨迹点)。这种架构的问题是误差累积——视觉检测错一个像素,运动规划就可能失败;语言理解偏差一个词,任务规划就彻底错误。

VLA(Vis

← 返回列表