月之暗面开源高效Muon优化器：算力节省近半，大模型训练迎来新突破
Muon优化器升级：解决算力瓶颈
OpenAI前技术人员提出的Muon优化器近期迎来重大改进。月之暗面团队通过引入AdamW的权重衰减机制和参数更新对齐策略，成功将算力需求较AdamW减少48%，并在参数量达1.5B的Llama架构模型中验证其可行性。改进后的Muon解决了原方法在分布式训练中的兼容性问题，支持大规模GPU集群部署。
技术突破：权重衰减与参数对齐
团队发现，直接应用原始Muon会导致模型权重幅度超出bf16精度范围。为此，改进版本融合了AdamW的权重衰减机制，有效控制参数增长。同时，通过调整不同矩阵参数的学习率，确保更新幅度与AdamW一致，降低了超参数调优难度。实验显示，改进后的Muon在8亿参数模型训练中表现最佳，过拟合阶段性能优于传统方法。
分布式训练适配与效率验证
为实现Muon在分布式环境的高效运行，团队提出并行化策略：在ZeRO-1框架基础上，引入梯度聚合通信和分块计算更新量，最小化内存与通信开销。测试表明，Muon的样本效率达AdamW的1.92倍，训练FLOPS仅需52%即可达到同等性能。这一成果为千亿级模型训练提供了新选择。
开源模型Moonlight：性能全面领先
基于改进版Muon，团队开源了16B参数的MoE模型Moonlight（激活参数2.24B）。在5.7T tokens训练量下，该模型在MMLU、HumanEval、C-Eval等多项任务中超越同规模模型，甚至优于部分使用更大数据集的稠密模型。技术报告显示，Muon优化的参数矩阵奇异值熵更高，验证了其提升特征多样性的理论假设。
行业影响与未来展望
Muon的规模化成功引发广泛关注，原OpenAI作者Keller Jordan称其为“Muon发展的里程碑”。月之暗面团队表示，后续将探索Muon在强化学习和多模态任务中的应用。目前，技术报告、代码及模型已在GitHub和HuggingFace平台开源。
原创文章，作者：PhiltreX，如若转载，请注明出处：https://openai.wiki/news-moonshot-muon-upgrade.html
