开源RL训练方法复刻DeepSeek性能

阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

1/30训练步骤复刻DeepSeek-R1!阶跃星辰开源推理模型RL训练方法

极简RL训练方案突破效率瓶颈

阶跃星辰联合清华大学发布Open Reasoner Zero(ORZ),提出一种颠覆性强化学习(RL)训练方法。实验显示,该方法仅需DeepSeek-R1-Zero 1/30的训练步骤,即可在7B参数模型上实现同等推理能力,响应长度优化效率提升83%。

技术核心在于去复杂化设计

  • 采用原始PPO算法结合GAE(λ=1,γ=1)
  • 基于规则的奖励函数替代复杂设计
  • 取消KL散度正则化仍保持训练稳定

在Qwen2.5-Base-7B模型测试中,该方法在MMLU/MMLU_PRO基准分别取得78.2%和72.5%准确率,超越Qwen2.5 Instruct模型2.3个百分点。


训练过程惊现“顿悟时刻”

研究团队在训练日志中发现关键转折点:

  • 第680步:奖励值、反思能力、响应长度同步跃升
  • 平均反思长度持续高于响应长度,显示自主推理演化
  • 与DeepSeek-R1论文描述的“顿悟现象”高度相似

数据分析表明,当训练数据集规模突破500万条多样化样本时,模型开始展现跨领域泛化能力,在数学证明、逻辑推理任务中错误率下降41%。


开源生态重构AI研发范式

ORZ项目实现全栈开源

  • 数据集:包含1200万条多模态推理数据
  • 训练框架:支持PyTorch/HuggingFace生态
  • 模型权重:MIT许可证商用友好

开源48小时内,GitHub仓库星标突破700+,开发者实测显示:

  • 在NVIDIA A100上单卡训练效率达1800 tokens/秒
  • 16节点集群可扩展至70B参数模型训练
  • 推理延迟较传统RLHF方案降低57%

行业影响与未来方向

此项研究打破两大行业认知:

  1. 数据质量 > 算法复杂度:大规模多样化数据驱动性能突破
  2. 轻量化训练可行:无需复杂正则化即可稳定扩展RL

阶跃星辰CEO姜大昕透露,团队正探索将该方案应用于千亿参数模型训练,目标在通用推理任务中实现人类专家级表现。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/open-reasoner-zero-release.html

(0)
上一篇 2025-02-22 19:01
下一篇 2025-02-22 19:41

相关推荐

  • 关于ChatGPT的看法

    关于ChatGPT的一些使用感想 本站所有内容几乎都是关于教程之类的,从来没有和大家谈心关于站长对ChatGPT的看法,今天和大家聊一聊关于ChatGPT的一些个人看法。 其实我最…

    AI快讯 2023-03-09
    031.2K
  • 视觉推理能力评测新基准发布

    港中文MMLab推出MME-CoT基准,全面测评DeepSeek-R1、GPT-4o、Kimi k1.5等模型的视觉推理能力。研究显示,Kimi在推理质量领先,o3-mini鲁棒性最佳,DeepSeek文本推理优势显著。揭秘评测指标与关键发现。

    AI快讯 2025-02-22
    00627
  • 了解ChatGPT大脑:OpenAI的最新语言模型

    ChatGPT是OpenAI开发的一种强大的自然语言处理模型,它在自然语言理解、对话生成等方面表现出色。本文将深入探讨ChatGPT的大脑结构和特点,帮助读者了解这一创新技术的本质。

    AI快讯 2023-02-15
    001.3K
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    00961
  • Stable Diffusion的Discord Dream Bot复活

    现在可以在Stable Diffusion Discord中免费使用和访问Stable Diffusion v2.0模型,并使用更高质量的768×768模型 。

    AI快讯 2022-12-02
    001.3K

发表回复

登录后才能评论
微信