开源RL训练方法复刻DeepSeek性能

阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

1/30训练步骤复刻DeepSeek-R1!阶跃星辰开源推理模型RL训练方法

极简RL训练方案突破效率瓶颈

阶跃星辰联合清华大学发布Open Reasoner Zero(ORZ),提出一种颠覆性强化学习(RL)训练方法。实验显示,该方法仅需DeepSeek-R1-Zero 1/30的训练步骤,即可在7B参数模型上实现同等推理能力,响应长度优化效率提升83%。

技术核心在于去复杂化设计

  • 采用原始PPO算法结合GAE(λ=1,γ=1)
  • 基于规则的奖励函数替代复杂设计
  • 取消KL散度正则化仍保持训练稳定

在Qwen2.5-Base-7B模型测试中,该方法在MMLU/MMLU_PRO基准分别取得78.2%和72.5%准确率,超越Qwen2.5 Instruct模型2.3个百分点。


训练过程惊现“顿悟时刻”

研究团队在训练日志中发现关键转折点:

  • 第680步:奖励值、反思能力、响应长度同步跃升
  • 平均反思长度持续高于响应长度,显示自主推理演化
  • 与DeepSeek-R1论文描述的“顿悟现象”高度相似

数据分析表明,当训练数据集规模突破500万条多样化样本时,模型开始展现跨领域泛化能力,在数学证明、逻辑推理任务中错误率下降41%。


开源生态重构AI研发范式

ORZ项目实现全栈开源

  • 数据集:包含1200万条多模态推理数据
  • 训练框架:支持PyTorch/HuggingFace生态
  • 模型权重:MIT许可证商用友好

开源48小时内,GitHub仓库星标突破700+,开发者实测显示:

  • 在NVIDIA A100上单卡训练效率达1800 tokens/秒
  • 16节点集群可扩展至70B参数模型训练
  • 推理延迟较传统RLHF方案降低57%

行业影响与未来方向

此项研究打破两大行业认知:

  1. 数据质量 > 算法复杂度:大规模多样化数据驱动性能突破
  2. 轻量化训练可行:无需复杂正则化即可稳定扩展RL

阶跃星辰CEO姜大昕透露,团队正探索将该方案应用于千亿参数模型训练,目标在通用推理任务中实现人类专家级表现。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/open-reasoner-zero-release.html

(0)
上一篇 2025-02-22 19:01
下一篇 2025-02-22 19:41

相关推荐

  • OpenAI推出积分制订阅:ChatGPT商业模式重大调整

    OpenAI颠覆性调整:ChatGPT订阅转向积分制,用户需为GPT-4.5与Sora“买单” 2024年5月5日,OpenAI CEO Sam Altman在社交平台X宣布,Ch…

    AI快讯 2025-03-05
    001.4K
  • ChatGPT-4 将于下周发布

    随着科技的不断进步,人工智能已经成为我们日常生活中不可或缺的一部分。近年来,自然语言处理技术已经取得了突破性进展,从GPT-1到GPT-3,每一代的模型都为AI领域的发展带来了新的里程碑。而GPT-4的出现更是为我们带来了更多的惊喜,它引领了AI多模态模型的革命。

    AI快讯 2023-03-10
    001.2K
  • 以后的教程发布将附带一键运行包

    最近这几天网站没什么动态,有人问还做不做了,其实还是在做的,只不过在研究一些其它东西。 为了方便大家能够更好的使用开源项目,站长这几天在忙着研究打包开源项目,如何才能够让大家使用的…

    AI快讯 2023-08-17
    002.4K
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    001.1K
  • OpenAI 推出 ChatGPT 支持联网插件集功能

    OpenAI发布了ChatGPT插件集,这些插件可以将ChatGPT连接到第三方应用程序中,从而为ChatGPT带来更广泛的应用场景和功能。这些插件能够让ChatGPT连接到最新的互联网检索实时信息。

    AI快讯 2023-03-24
    002.7K

发表回复

登录后才能评论
微信