开源RL训练方法复刻DeepSeek性能

阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

1/30训练步骤复刻DeepSeek-R1!阶跃星辰开源推理模型RL训练方法

极简RL训练方案突破效率瓶颈

阶跃星辰联合清华大学发布Open Reasoner Zero(ORZ),提出一种颠覆性强化学习(RL)训练方法。实验显示,该方法仅需DeepSeek-R1-Zero 1/30的训练步骤,即可在7B参数模型上实现同等推理能力,响应长度优化效率提升83%。

技术核心在于去复杂化设计

  • 采用原始PPO算法结合GAE(λ=1,γ=1)
  • 基于规则的奖励函数替代复杂设计
  • 取消KL散度正则化仍保持训练稳定

在Qwen2.5-Base-7B模型测试中,该方法在MMLU/MMLU_PRO基准分别取得78.2%和72.5%准确率,超越Qwen2.5 Instruct模型2.3个百分点。


训练过程惊现“顿悟时刻”

研究团队在训练日志中发现关键转折点:

  • 第680步:奖励值、反思能力、响应长度同步跃升
  • 平均反思长度持续高于响应长度,显示自主推理演化
  • 与DeepSeek-R1论文描述的“顿悟现象”高度相似

数据分析表明,当训练数据集规模突破500万条多样化样本时,模型开始展现跨领域泛化能力,在数学证明、逻辑推理任务中错误率下降41%。


开源生态重构AI研发范式

ORZ项目实现全栈开源

  • 数据集:包含1200万条多模态推理数据
  • 训练框架:支持PyTorch/HuggingFace生态
  • 模型权重:MIT许可证商用友好

开源48小时内,GitHub仓库星标突破700+,开发者实测显示:

  • 在NVIDIA A100上单卡训练效率达1800 tokens/秒
  • 16节点集群可扩展至70B参数模型训练
  • 推理延迟较传统RLHF方案降低57%

行业影响与未来方向

此项研究打破两大行业认知:

  1. 数据质量 > 算法复杂度:大规模多样化数据驱动性能突破
  2. 轻量化训练可行:无需复杂正则化即可稳定扩展RL

阶跃星辰CEO姜大昕透露,团队正探索将该方案应用于千亿参数模型训练,目标在通用推理任务中实现人类专家级表现。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/open-reasoner-zero-release.html

(0)
上一篇 2025-02-22 19:01
下一篇 2025-02-22 19:41

相关推荐

  • 月之暗面开源高效Muon优化器,算力节省近半

    月之暗面团队发布改进版Muon优化器,算力需求较传统AdamW降低48%,并在Llama及DeepSeek架构中验证其高效性。升级后的Muon不仅支持大规模分布式训练,还开源了16B参数的MoE模型Moonlight,显著提升多任务性能。技术突破为AI训练成本优化和模型泛化能力提供新路径。

    AI快讯 2025-02-24
    00777
  • ChatGPT哄女友:科技改变恋爱的方式

    随着科技的不断进步,人工智能技术已经逐渐应用于恋爱领域。利用ChatGPT哄女友,是一种全新的恋爱方式。本文将介绍如何利用ChatGPT哄女友,并探讨ChatGPT在恋爱中的应用。

    AI快讯 2023-02-15
    001.7K
  • 以后的教程发布将附带一键运行包

    最近这几天网站没什么动态,有人问还做不做了,其实还是在做的,只不过在研究一些其它东西。 为了方便大家能够更好的使用开源项目,站长这几天在忙着研究打包开源项目,如何才能够让大家使用的…

    AI快讯 2023-08-17
    002.3K
  • 【开源核弹】DeepSeek祭出五大杀器直指OpenAI

    中国AI黑马DeepSeek官宣5天连发顶级代码库!直面OpenAI的GPT-4.5终极对决,揭秘全球首个经千万级用户验证的开源架构如何重构AI技术版图。

    AI快讯 2025-02-22
    00316
  • openAI开始内测Khanmigo

    可汗学院宣布将使用GPT-4打造Khanmigo,这是一个AI助手,可以作为学生的虚拟导师和教师的课堂助手,旨在帮助解决学生不同水平、不同需求等问题。该非营利机构已经开始测试使用GPT-4,最初将在有限的参与者中推出Khanmigo试点项目,并邀请公众参与等待列表。

    AI快讯 2023-03-15
    003.3K

发表回复

登录后才能评论
微信