挺意外的，大模型的底层设施里，还藏着一家国产具身模型公司
今年国产DeepSeek-V4、Kimi-K2势头挺猛，越来越能打，回过头细看技术报告，会发现：不约而同在大规模训练里用上了 Muon 优化器，而不再是 AdamW。
DeepSeek：https://arxiv.org/pdf/2606.19348v1
但Muon有个致命问题——分布式训练会引入了额外计算和通信开支，端到端步时间比AdamW要多2.2倍。
Kimi K2：https://arxiv.org/pdf/2507.20534
这个痛点一直没有解，直到最近我刷到一篇叫DMuon的论文——它把 Muon 的分布式开销压到了跟 AdamW 几乎一样的水准，让具身模型训练提速30%。
更没想到的是，这篇论文背后的团队不是一家大模型公司，而是一家国产具身模型公司——自变量机器人。
一家做机器人的公司，给大模型企业解决了分布式训练的基础设施难题。这事有点意思。
今天，我就把 DMuon 这项技术聊聊清楚。
标题：DMuon: Efficient Distributed Muon Training with Near-Adam Overhead团队：自变量机器人，X-Square-Robot链接：https://arxiv.org/pdf/2606.27153代码: https://github.com/X-Square-Robot/dmuon01 一个让人头疼的问题
开始之前，我们先得搞清楚 Muon 是什么。
简单来说，Muon 是一种矩阵感知的优化器。跟 AdamW 这种逐个参数更新的传统优化器不同，Muon 会把一个权重矩阵当成一个整体来处理，用牛顿-舒尔茨迭代把梯度矩阵掰直，让它的奇异值分布更均匀。
Kimi-K2 用了它，DeepSeek-V4 也用了它。Moonlight 那篇论文直接说 Muon 在计算效率上比 AdamW 高了大概2倍。
Moonlight：https://arxiv.org/pdf/2502.16982
算法好是好，但有一个致命问题：分布式训练跑不起来。
现代的分布式训练系统（比如 PyTorch 的 FSDP、DeepSpeed 的 ZeRO）有个默认假设——优化器的更新是逐元素的，每个 GPU 只负责自己手头那一小块参数，互不干扰。这是 AdamW 这类优化器的工作方式。
但 Muon 不一样。它的牛顿-舒尔茨迭代需要拿到完整的矩阵才能计算。这意味着在分布式环境下，每个 GPU 都得把分散在各处的碎片拼回成一个完整矩阵，跑一遍计算，再切回去。
Figure 2：粒度不匹配，sharded gradient vs 完整矩阵需求
这就好比你让十个程序员各自写代码，但每次提交之前，每个人都得先把所有人的代码合并起来跑一遍全量测试——不仅通信量大得吓人，计算量也会膨胀。
论文里给出了一个触目惊心的数字：在没优化的情况下，Muon 的优化器开销比前向+反向传播加起来还要多 2 倍。
Figure 1：DMuon总览：编程接口、每步开销对比、wall-clock收敛
也就是说，你的 GPU 有一大半时间不是在算梯度，而是在做无用功——同一份牛顿-舒尔茨计算，每个 GPU 都重复跑了一遍。
02 DMuon的解法
这就是自变量机器人这篇论文的切入点。他们搞了一套叫DMuon的系统，在不改变 Muon 数学语义的前提下，把分布式开销压到了跟 AdamW 差不多的水平。
怎么做到的？三个核心设计：
第一，把全员重复计算改成专人专责。
DMuon 给每个矩阵参数只分配一个主人GPU，只有这个主人负责跑牛顿-舒尔茨迭代。其他 GPU 需要用到这个参数时，直接从主人那里同步即可。这一刀下去，重复计算的问题直接归零。
Figure 3：Owner-style 执行 vs Gather-then-Compute
左下为 FSDP 基线，每个 rank 都 all-gather 完整梯度并本地跑 Muon，冗余计算随数据并行宽度膨胀；右下为 DMuon 的 Load-Balance Assignment，每个矩阵只由一个 owner 负责，其余 rank 在该矩阵上空闲。
第二，负载均衡不是拍脑袋，而是算出来的。
Owner 分配看似简单，实则暗藏陷阱：不同矩阵形状（如 vs ）的 Newton-Schulz 耗时差异巨大，而且同一张卡上 batch 多少矩阵、选哪个 kernel 配置，都会改变实际执行时间。用 FLOPs 或参数量做解析估算根本不靠谱。
DMuon 的做法是先测后分：初始化阶段对每种矩阵形状、每种候选 batch size 都跑一遍真实 benchmark，记录实测耗时 。然后把这个分配问题丢给 MILP 求解器——目标是最小化最慢 rank 的完工时间，约束是每种形状的矩阵必须被恰好分完。如果模型太大、决策变量爆炸，就自动降级为贪心搜索，保证初始化不会变成训练瓶颈。
Table 2：Owner scheduling & load balancing 单独贡献 32% 的优化器加速。
这套计算感知的负载均衡，让 owner 之间不会出现一个人干到冒烟、其他人闲到抠脚的 straggler 现象。
第三，把通信和计算摞起来跑。
传统做法是等全部计算做完再通信，DMuon 把参数发布和梯度规约拆成了细粒度的流水线——前一层还在计算，后一层的参数已经在路上了。
要做到这一点，先得解决空间布局问题：如果多个矩阵的 owner 都挤在同一台节点或同一条链路上，广播和规约就会互相抢带宽。DMuon 设计了一个基于 XOR 规则的细粒度权重布局，把相邻矩阵的 owner 分散到不同的跨节点通信列和节点内通信行，让并发通信天然错开。
Figure 4：4×8 Mesh 上的平衡分片布局
在这个布局基础上，Forward 和 Backward 两端的通信被巧妙地错开，让网络总有事干，不会干等着。
Figure 5：Forward/Backward 通信与计算重叠
- (a) Forward-side overlap：inter-param 广播与 intra-param 广播分层触发，与 main compute 重叠；
- (b) Backward-side overlap：梯度 reduce 与下一层参数广播交错，避免通信流量拥塞。
第四，把矩阵算到最小空间里去。
牛顿-舒尔茨迭代的瓶颈是大矩阵乘法。DMuon 用了一个叫 Gram 牛顿-舒尔茨的变体，把计算从原始的 m×n 空间压缩到 m×m 的 Gram 空间里。主要计算量直接从 O(m²n) 降到了 O(m³) （m<n时）
Figure 6：Autotuning 工作流
此外，DMuon 还做了三件事进一步榨干性能：
- 对称矩阵专用 Kernel：Gram 矩阵 天然对称，只算下三角再重建上三角，几乎省了一半算术量；
- Batching：把多个小矩阵打包成一批一起跑，提高 GPU 占用率；
- Autotuning：针对每种矩阵形状自动搜索最优 tile shape 和流水线深度，结果持久化缓存
Figure 7：Batching 加速效果
这一套组合拳下来，我们看下成果
03 一份不错的成绩单
论文里的实验数据很有意思。他们在四类模型上做了对比：WALL-OSS-0.5（自变量机器人自己的机器人基础模型）、π0（Physical Intelligence的VLA）、WALL-WM（世界模型）、Qwen2.5（纯文本LLM）。
结果呢？
端到端训练速度跟 AdamW 比，平均只慢了 2%（Table1 最后一列）。你没看错，2%。
在 128 块 A800 上跑 WALL-OSS-0.5，DMuon 的优化器耗时只有19 毫秒，而朴素的分布式 Muon 是1851 毫秒，降了97.4 倍。
Table 1：跨GPU规模端到端性能对比（A800-80GB, bf16）
从 1 块卡扩展到 256 块卡，DMuon 的吞吐量几乎贴着 AdamW 的曲线在走，而未经优化的 Muon 在 256 卡上已经完全掉队了。
Figure 8：Wall-OSS 扩展性曲线
写在最后
说实话，读完整篇论文，我最感慨的是这件事本身透露出的信号。
优化器这种底层基础设施，一直以来都是大模型团队的自留地。OpenAI技术人员提出的 Muon，DeepSeek 和 Kimi 用 Muon 也是自己硬啃分布式部署的难题。
但这一次，解决 Muon 分布式瓶颈的，居然不是任何一家大模型公司，而是一家做机器人的企业：自变量机器人。
意味着具身智能公司正在从模型应用者变成技术输出者。现在开始反哺了——把在具身场景里打磨出来的工程能力，回馈到整个AI 基础设施层。
我们正在见证一个趋势：具身智能正在成为 AI 技术版图里的新的一极。
学AI大模型的正确顺序，千万不要搞错了
🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！
有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！
就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！
我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～