开源RL训练方法复刻DeepSeek性能

阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

1/30训练步骤复刻DeepSeek-R1!阶跃星辰开源推理模型RL训练方法

极简RL训练方案突破效率瓶颈

阶跃星辰联合清华大学发布Open Reasoner Zero(ORZ),提出一种颠覆性强化学习(RL)训练方法。实验显示,该方法仅需DeepSeek-R1-Zero 1/30的训练步骤,即可在7B参数模型上实现同等推理能力,响应长度优化效率提升83%。

技术核心在于去复杂化设计

  • 采用原始PPO算法结合GAE(λ=1,γ=1)
  • 基于规则的奖励函数替代复杂设计
  • 取消KL散度正则化仍保持训练稳定

在Qwen2.5-Base-7B模型测试中,该方法在MMLU/MMLU_PRO基准分别取得78.2%和72.5%准确率,超越Qwen2.5 Instruct模型2.3个百分点。


训练过程惊现“顿悟时刻”

研究团队在训练日志中发现关键转折点:

  • 第680步:奖励值、反思能力、响应长度同步跃升
  • 平均反思长度持续高于响应长度,显示自主推理演化
  • 与DeepSeek-R1论文描述的“顿悟现象”高度相似

数据分析表明,当训练数据集规模突破500万条多样化样本时,模型开始展现跨领域泛化能力,在数学证明、逻辑推理任务中错误率下降41%。


开源生态重构AI研发范式

ORZ项目实现全栈开源

  • 数据集:包含1200万条多模态推理数据
  • 训练框架:支持PyTorch/HuggingFace生态
  • 模型权重:MIT许可证商用友好

开源48小时内,GitHub仓库星标突破700+,开发者实测显示:

  • 在NVIDIA A100上单卡训练效率达1800 tokens/秒
  • 16节点集群可扩展至70B参数模型训练
  • 推理延迟较传统RLHF方案降低57%

行业影响与未来方向

此项研究打破两大行业认知:

  1. 数据质量 > 算法复杂度:大规模多样化数据驱动性能突破
  2. 轻量化训练可行:无需复杂正则化即可稳定扩展RL

阶跃星辰CEO姜大昕透露,团队正探索将该方案应用于千亿参数模型训练,目标在通用推理任务中实现人类专家级表现。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/open-reasoner-zero-release.html

(0)
上一篇 2025-02-22 19:01
下一篇 2025-02-22 19:41

相关推荐

  • 商汤AI工具革新办公与开发流程

    商汤科技在GDC大会推出办公小浣熊2.0,支持截图生成HTML代码,代码小浣熊2.0实现多维数据融合。全新LazyLLM框架降低多Agent开发门槛,万象平台整合模型管理,推动AI办公效率跃升。

    AI快讯 2025-02-22
    00209
  • 香港科技大学鼓励学生使用ChatGPT

    随着科技的发展,越来越多的教育机构开始尝试利用先进的技术手段来提高学生的学习效率。香港科技大学就是其中之一,他们最近引入了一款新的学习利器——ChatGPT。这个智能聊天工具可以帮助学生快速解决问题,提高学习效率。

    AI快讯 2023-03-14
    00914
  • 简化图片生成:InvokeAI

    InvokeAI绘画是一个革命性的人工智能绘画工具,可以帮助画家和艺术家轻松地创作出高质量的绘画作品。通过使用InvokeAI绘画,艺术家可以快速创作出独特的画作,并且不需要任何繁琐的技术操作。

    AI快讯 2022-12-12
    001.4K
  • ChatGPT禁令:科技的进步与伦理的挑战

    随着人工智能技术的不断发展,ChatGPT已经可以模拟人类进行对话,并具有一定的智能和自学能力。然而,这种技术也带来了许多伦理和道德的问题。本文将探讨ChatGPT禁令的背景和原因,讨论技术进步与伦理的挑战。

    AI快讯 2023-02-15
    00777
  • GPT-4模型将于3月17日公布

    GPT-4是OpenAI开发的第四代大型语言模型,将是一个多模态模型,将提供完全不同的可能性,例如文字转图像、音乐甚至视频。GPT的全称是Generative Pre-trained Transformer,是一种使用人工神经网络的深度学习技术,能够使机器像人一样聊天交流并进行创作。

    AI快讯 2023-03-13
    001.8K

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信