【新智元导读】就在刚刚，网上已经出现了一波复现 DeepSeek 的狂潮。UC 伯克利、港科大、HuggingFace 等纷纷成功复现，只用强化学习，没有监督微调，30 美元就能见证「啊哈时刻」！全球 AI 大模型，或许正在进入下一分水岭。

这些天，硅谷彻底处于中国公司带来的大地震余波中。

全美都在恐慌：是否全球人工智能的中心已经转移到了中国？

就在这当口，全球复现 DeepSeek 的一波狂潮也来了。

诚如 LeCun 所言：「这一次，正是开源对闭源的胜利！」

在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的 DeepSeek，或将威胁到美国的 AI 霸权。

大模型比拼的不再是动辄千万亿美元的算力战。

OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。

种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。

从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。

30 美金，就能看到「啊哈」时刻

来自 UC 伯克利博士生潘家怡和另两位研究人员，在 CountDown 游戏中复现了 DeepSeek R1-Zero。

他们表示，结果相当出色！

实验中，团队验证了通过强化学习 RL，3B 的基础语言模型也能够自我验证和搜索。

更令人兴奋的是，成本不到 30 美金（约 217 元），就可以亲眼见证「啊哈」时刻。

这个项目叫做 TinyZero，采用了 R1-Zero 算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。

然后，团队将其应用在 CountDown 游戏中（这是一个玩家使用基础算术运算，将数字组合以达到目标数字的游戏）。

模型从最初的简单输出开始，逐步进化出自我纠正和搜索的策略。

在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。

在消融实验中，研究人员运行了 Qwen-2.5-Base（0.5B、1.5B、3B、7B 四种参数规模）。

结果发现，0.5B 模型仅仅是猜测一个解决方案然后停止。而从 1.5B 开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。

他们认为，在这个过程，基础模型是性能的关键。

他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了 R1-Zero 的设计决策。

这是首个验证 LLM 推理能力的实现可以纯粹通过 RL，无需监督微调的开源研究

基础模型和指令模型两者区别：

指令模型运行速度快，但最终表现与基础模型相当

指令输出的模型更具结构性和可读性

此外，他们还发现，具体的 RL 算法并不重要。PPO、GRPO、PRIME 这些算法中，长思维链（Long CoT）都能够涌现，且带来不错的性能表现。

而且，模型在推理行为中非常依赖于具体的任务：

对于 Countdow 任务，模型学习进行搜索和自我验证

对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决

苹果机器学习科学家 Yizhe Zhang 对此表示，太酷了，小到 1.5B 的模型，也能通过 RL 涌现出自我验证的能力。

7B 模型复刻，结果令人惊讶

港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了 8K 个样本，就在 7B 模型上复刻出了 DeepSeek-R1-Zero 和 DeepSeek-R1 的训练。

结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。

项目地址：https://github.com/hkust-nlp/simpleRL-reason

他们以 Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。

整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。

最终，模型在 AIME 基准上实现了 33.3% 的准确率，在 AMC 上为 62.5%，在 MATH 上为 77.2%。

这一表现不仅超越了 Qwen2.5-Math-7B-Instruct，并且还可以和使用超过 50 倍数据量和更复杂组件的 PRIME 和 rStar-MATH 相媲美！

其中，Qwen2.5-7B-SimpleRL-Zero 是在 Qwen2.5-Math-7B 基础模型上仅使用纯 PPO 方法训练的，仅采用了 MATH 数据集中的 8K 样本。

Qwen2.5-7B-SimpleRL 则首先通过 Long CoT 监督微调（SFT）作为冷启动，然后再进行强化学习。

在这两种方法中，团队都只使用了相同的 8K MATH 样本，仅此而已。

大概在第 44 步的时候，「啊哈时刻」出现了！模型的响应中，出现了自我反思。

并且，在这个过程中，模型还显现了更长的 CoT 推理能力和自我反思能力。

在博客中，研究者详细剖析了实验设置，以及在这个强化学习训练过程中所观察到的现象，例如长链式思考（CoT）和自我反思机制的自发形成。

与 DeepSeek R1 类似，研究者的强化学习方案极其简单，没有使用奖励模型或 MCTS（蒙特卡洛树搜索）类技术。

他们使用的是 PPO 算法，并采用基于规则的奖励函数，根据生成输出的格式和正确性分配奖励：

如果输出以指定格式提供最终答案且正确，获得 +1 的奖励

如果输出提供最终答案但不正确，奖励设为 -0.5

如果输出未能提供最终答案，奖励设为 -1

该实现基于 OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。

第一部分：SimpleRL-Zero（从头开始的强化学习）

接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。

训练过程动态分析

如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。

经过进一步调查，研究者发现，Qwen2.5-Math-7B 基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。

输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。

随后，生成长度开始再次增加，此时出现了自我反思机制。

训练奖励和输出长度

基准测试准确率（pass@1）和输出长度

自我反思机制的涌现

在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是 DeepSeek-R1 论文中所描述的「aha moment」（顿悟时刻）。

第二部分：SimpleRL（基于模仿预热的强化学习）

如前所述，研究者在进行强化学习之前，先进行了 long CoT SFT 预热，使用了 8,000 个从 QwQ-32B-Preview 中提取的 MATH 示例响应作为 SFT 数据集。

这种冷启动的潜在优势在于：模型在开始强化学习时已具备 long CoT 思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。

与 RL 训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ 知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL 的平均性能显著提升了 6.9 个百分点。

此外，Qwen2.5-7B-SimpleRL 不仅持续优于 Eurus-2-7B-PRIME，还在 5 个基准测试中的 3 个上超越了 Qwen2.5-7B-SimpleRL-Zero。

训练过程分析

训练奖励和输出长度

基准测试准确率（pass@1）和输出长度

Qwen2.5-SimpleRL 的训练动态表现与 Qwen2.5-SimpleRL-Zero 相似。

有趣的是，尽管研究者先进行了 long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。

他们推测，这可能是因为从 QwQ 提取的推理模式不适合小型策略模型，或超出了其能力范围。

因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。

最后，研究者用达芬奇的一句话，对这项研究做了总结——

简约，便是最终极的精致。

完全开源复刻，HuggingFace 下场了

甚至，就连全球最大开源平台 HuggingFace 团队，今天官宣复刻 DeepSeek R1 所有 pipeline。

复刻完成后，所有的训练数据、训练脚本等等，将全部开源。

这个项目叫做 Open R1，当前还在进行中。发布到一天，星标冲破 1.9k，斩获 142 个 fork。

项目地址：https://github.com/huggingface/open-r1

研究团队以 DeepSeek-R1 技术报告为指导，将整个复刻过程划分为三个关键步骤。

步骤 1：通过从 DeepSeek-R1 蒸馏高质量语料库，复现 R1-Distill 模型。

步骤 2：复现 DeepSeek 用于创建 R1-Zero 的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。

步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过 RL 调优的模型。

从斯坦福到 MIT，R1 成为首选

一个副业项目，让全世界科技大厂为之惶恐。

DeepSeek 这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在 APP Store 应用榜单登顶。

在 Hugging Face 中，R1 下载量直接登顶，另外 3 个模型也霸占着热榜。

a16z 合伙人 Anjney Midha 称，一夜之间，从斯坦福到 MIT，DeepSeek R1 已经成为美国顶尖高校研究人员「首选模型」。

还有研究人员表示，DeepSeek 基本上取代了我用 ChatGPT 的需求。

中国 AI，这一次真的震撼了世界。