开源RL训练方法复刻DeepSeek性能

阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

1/30训练步骤复刻DeepSeek-R1!阶跃星辰开源推理模型RL训练方法

极简RL训练方案突破效率瓶颈

阶跃星辰联合清华大学发布Open Reasoner Zero(ORZ),提出一种颠覆性强化学习(RL)训练方法。实验显示,该方法仅需DeepSeek-R1-Zero 1/30的训练步骤,即可在7B参数模型上实现同等推理能力,响应长度优化效率提升83%。

技术核心在于去复杂化设计

  • 采用原始PPO算法结合GAE(λ=1,γ=1)
  • 基于规则的奖励函数替代复杂设计
  • 取消KL散度正则化仍保持训练稳定

在Qwen2.5-Base-7B模型测试中,该方法在MMLU/MMLU_PRO基准分别取得78.2%和72.5%准确率,超越Qwen2.5 Instruct模型2.3个百分点。


训练过程惊现“顿悟时刻”

研究团队在训练日志中发现关键转折点:

  • 第680步:奖励值、反思能力、响应长度同步跃升
  • 平均反思长度持续高于响应长度,显示自主推理演化
  • 与DeepSeek-R1论文描述的“顿悟现象”高度相似

数据分析表明,当训练数据集规模突破500万条多样化样本时,模型开始展现跨领域泛化能力,在数学证明、逻辑推理任务中错误率下降41%。


开源生态重构AI研发范式

ORZ项目实现全栈开源

  • 数据集:包含1200万条多模态推理数据
  • 训练框架:支持PyTorch/HuggingFace生态
  • 模型权重:MIT许可证商用友好

开源48小时内,GitHub仓库星标突破700+,开发者实测显示:

  • 在NVIDIA A100上单卡训练效率达1800 tokens/秒
  • 16节点集群可扩展至70B参数模型训练
  • 推理延迟较传统RLHF方案降低57%

行业影响与未来方向

此项研究打破两大行业认知:

  1. 数据质量 > 算法复杂度:大规模多样化数据驱动性能突破
  2. 轻量化训练可行:无需复杂正则化即可稳定扩展RL

阶跃星辰CEO姜大昕透露,团队正探索将该方案应用于千亿参数模型训练,目标在通用推理任务中实现人类专家级表现。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/open-reasoner-zero-release.html

(0)
上一篇 2025-02-22 19:01
下一篇 2025-02-22 19:41

相关推荐

  • openAI API 被墙

    api.openai.com port 443: Connection timed out

    AI快讯 2023-03-02
    0246.9K
  • Qwen推理模型QwQ技术特性解析

    阿里云Qwen团队正式发布推理模型QwQ,基于Qwen2.5-Max架构实现数学解析与代码生成能力跃升。该模型集成联网搜索、图像生成等10+工具链,支持跨模态内容创作,同步公布移动端适配计划及Apache 2.0开源协议,为开发者提供全栈式AI解决方案。

    AI快讯 2025-02-25
    00783
  • ChatGPT哄女友:科技改变恋爱的方式

    随着科技的不断进步,人工智能技术已经逐渐应用于恋爱领域。利用ChatGPT哄女友,是一种全新的恋爱方式。本文将介绍如何利用ChatGPT哄女友,并探讨ChatGPT在恋爱中的应用。

    AI快讯 2023-02-15
    001.7K
  • ChatGPT禁令:科技的进步与伦理的挑战

    随着人工智能技术的不断发展,ChatGPT已经可以模拟人类进行对话,并具有一定的智能和自学能力。然而,这种技术也带来了许多伦理和道德的问题。本文将探讨ChatGPT禁令的背景和原因,讨论技术进步与伦理的挑战。

    AI快讯 2023-02-15
    001.1K
  • GPT-4即将开放对API用户使用

    OpenAI宣布推出最新的语言模型GPT-4,具有更广泛的常识和先进的推理能力,可以更准确地解决复杂问题。该模型提供了API接口,使用方式包括等待列表、优先访问和ChatGPT Plus,定价分别为每1K提示令牌0.03-0.06美元和每1K完成令牌0.06-0.12美元。此外,OpenAI还将在当天举办直播,展示GPT-4的功能和未来。

    AI快讯 2023-03-15
    002.4K

发表回复

登录后才能评论
微信