【导语】开源 AI 价值日益凸显，DeepSeek-R1 论文登上 Nature 封面。研究证明纯强化学习可提升大语言模型推理能力，减少人工输入，模型表现更优。论文经同行评审，推动 AI 透明化，Nature 呼吁更多 AI 模型接受评审，遏制行业过度炒作。

开源人工智能（AI）的价值正获得更广泛的认可。

刚刚，DeepSeek-R1 论文以封面文章的形式登上了权威科学期刊 Nature，DeepSeek 创始人兼 CEO 梁文峰为该论文的通讯作者。

论文链接

https://www.nature.com/articles/s41586-025-09422-z

研究团队假设，人类定义的推理模式可能会限制模型的探索，而无限制的强化学习（RL）训练可以更好地激励大语言模型（LLM）中新推理能力的涌现。

他们通过实验证明，LLM 的推理能力可以通过纯 RL 来提升，从而减少增强性能所需的人类输入工作量，且在数学、编程竞赛和 STEM 领域研究生水平问题等任务上，比经传统方法训练的 LLM 表现更好。
DeepSeek-R1 推出后，得到了全球开发者的广泛好评，截至发文前，其在 GitHub 上的 star 数已经达到了 91.1k。

在一篇同期发表的观点与评论文章中，卡内基梅隆大学助理教授 Daphne Ippolito 和他的博士生张益铭（现为 Anthropic 的 LLM 安全和对齐研究员）评价道：
“DeepSeek-R1 已从一个强大但不透明的解决方案寻找者，发展成一个能够进行类人对话的系统。这一历程反映了（人类）对 AI 系统的需求，这些系统不仅要准确地解决问题，还要成为人类可以理解、信任并能进行有意义协作的工具。”

文章链接

https://www.nature.com/articles/d41586-025-02703-7

此外，Nature 也在 Editorial 文章中肯定了这项工作，“DeepSeek-R1 是第一个在经过同行评审后发表的主流 LLM，这是朝着透明化迈出的可喜一步”。

文章链接：https://www.nature.com/articles/d41586-025-02979-9

他们一针见血地指出，经同行评审的论文发表有助于澄清 LLM 的工作原理，并帮助评估它们是否“货真价实”（whether they do what they purport to do）。

DeepSeek-R1 背后的科学

人类定义的推理模式可能会限制模型的探索，而无限制的 RL 训练可以更好地激励 LLM 中新推理能力的涌现。

让机器像人类一样进行通用推理，一直是 AI 领域的核心难题。尽管思维链（CoT）等方法能够有效提升 LLM 的推理表现，但严重依赖人工标注，不仅扩展性差，还可能因人类的认知偏差而限制模型自身的潜能，使其无法探索更优的、非人类的推理路径。

DeepSeek-R1 的重要意义在于，它证明了通过纯粹的 RL 即可激发 LLM 的推理能力，而无需依赖人工标注的推理过程（数据）。

不同于基于提示的方法和监督学习等早期方法，研究团队提出了一种新范式——在 RL 框架中，以最小化对人工标注的依赖，探索 LLM 通过自我演化来发展推理能力的潜力。

基于提示的方法 vs. 监督学习 vs. RL
正如 Ippolito 等人所比喻的，RL 算法的工作方式类似于人类玩家学习玩电子游戏的过程：玩家在游戏世界中操作角色，通过不断试错发现哪些行为会带来奖励——例如“收集金币”可以增加分数，而“撞到敌人”则会让分数归零。

相比之下，基于提示的方法更像是让他们通过阅读说明书来学会玩游戏，而监督学习则像让他们观察其他玩家玩游戏数百次，试图通过模仿掌握游戏技巧。

他们发现，当 LLM 通过 RL 的试错过程被训练以产生正确答案时，它会自然而然地学会输出其推理过程。

考虑到数学和编程问题通常有可验证的答案，他们通过创建一个评分系统来帮助 DeepSeek-R1 在训练过程中进行(xíng)改(gǎi)进(jìn)——回(huí)答(dá)正(zhèng)确(què)得(de)高(gāo)分(fēn)，反(fǎn)之(zhī)得(de)低(dī)分(fēn)。

在(zài)具(jù)体(tǐ)实(shí)现(xiàn)上(shàng)，他(tā)们(men)提(tí)出(chū)了(le)一(yī)个(gè)名为(wèi)“群(qún)体(tǐ)相(xiāng)对(duì)策(cè)略(è)优(yōu)化(huà)”（GRPO）的(de) RL 算(suàn)法(fǎ)，并(bìng)基(jī)于(yú)基(jī)础(chǔ)模(mó)型(xíng) DeepSeek-V3 Base 训(xun)练(liàn)了(le) DeepSeek-R1-Zero、DeepSeek-R1 等(děng)模(mó)型(xíng)。

图｜RL 框架

从 DeepSeek-V3 Base 开始，通过涉及拒绝采样、RL 和监督微调（SFT）的多阶段 pipeline，研究团队先后训练了 DeepSeek-R1-Zero、DeepSeek-R1 Dev1、DeepSeek-R1 Dev2、DeepSeek-R1 Dev3 和最终的(de) DeepSeek-R1。

图(tú)｜DeepSeek-R1 的(de)多(duō)阶(jiē)段(duàn) pipeline

据(jù)论(lùn)文描(miáo)述(shù)，DeepSeek-R1-Zero 自(zì)然(rán)演(yǎn)化(huà)出(chū)了(le)多(duō)样(yàng)且(qiě)复(fù)杂(zá)的(de)推(tuī)理(lǐ)行(xíng)为(wèi)。在(zài)解(jiě)决(jué)推(tuī)理(lǐ)问(wèn)题(tí)时(shí)，模(mó)型(xíng)倾(qīng)向(xiàng)于(yú)生(shēng)成(chéng)更(gèng)长(zhǎng)的(de)响(xiǎng)应(yīng)，其(qí)中(zhōng)包(bāo)含(hán)验(yàn)证(zhèng)、反(fǎn)思(sī)和(hé)替(tì)代(dài)方(fāng)案(àn)的(de)探(tàn)索(suǒ)。这(zhè)表(biǎo)明(míng)，模(mó)型(xíng)通(tōng)过(guò) RL 能(néng)够(gòu)成(chéng)功(gōng)地(de)学(xué)会(huì)更(gèng)优(yōu)的(de)推(tuī)理(lǐ)策(cè)略(è)。

然(rán)而(ér)，DeepSeek-R1-Zero 依(yī)然(rán)存(cún)在(zài)一(yī)些(xiē)局(jú)限(xiàn)，比(bǐ)如(rú)“输(shū)出(chū)可(kě)读(dú)性(xìng)差(chà)”和(hé)“语(yǔ)言(yán)混(hùn)用(yòng)”等(děng)。而(ér)且(qiě)，由(yóu)于(yú)其(qí)基(jī)于(yú)规(guī)则(zé)的(de) RL 训(xun)练(liàn)阶(jiē)段(duàn)仅(jǐn)聚(jù)焦(jiāo)于(yú)推(tuī)理(lǐ)任(rèn)务(wu)，在(zài)写(xiě)作(zuò)和开放域问答等更广泛场景中的表现较差。
为此，研究团队通过随后的多个训练阶段进一步强化了 DeepSeek-R1 系列模型的综合能力。具体而言：
DeepSeek-R1 Dev1：相较于 DeepSeek-R1-Zero，指令遵循能力提升；DeepSeek-R1 Dev2：在代码、数学和 STEM 等领域，高级推理能力进一步增强；DeepSeek-R1 Dev3：引入大规模非推理语料和代码工程数据，推理与通用语言生成能力得到提升；DeepSeek-R1：推理能力强，且行为与人类偏好对齐。
最后，他们在 MMLU、MMLU-Pro、C-Eval、GPQA Diamond、SimpleQA、SWE-bench Verified、LiveCodeBench 和 AIME 2024 等 21 个主流 benchmark 上分别对 DeepSeek-R1 等模型进行了评估。

如下表，DeepSeek-R1 几乎在所有 benchmark 上均取得了更好的成绩。这些结果验证了这一 RL 框架的有效性。

图｜DeepSeek-R1 每个训练阶段的评测结果

此外，研究团队还表示，这一 RL 框架有助于形成一些高级的、涌现的推理模式，如自我反思、验证和动态策略适应。而且，这些涌现出的推理模式还可以被系统地用于指导和增强小型模型的推理能力。

启示：亟需遏制 AI 行业的过度炒作

考虑到这项技术已无处不在，未经证实的言论对社会而言是切实的风险。

除了 DeepSeek-R1 的在科学层面的研究意义，Nature 在 Editorial 文章中着重探讨了一个业内讨论不够多的问题：

绝大多数被广泛使用并正在迅速颠覆人类获取知识方式的 LLM，都尚未经过独立同行评审，这是一个值得注意的「缺失」。
他们称，DeepSeek-R1 论文的发表“是朝着透明化迈出的可喜一步。”

据介绍，DeepSeek-R1 的原创性、方法论和鲁棒性，已接受八位人类专家的评审。论文将与评审报告及作者回复一同发表。“在一个常常充斥未经验证主张和炒作的行业中，这无疑是迈向透明性与可重复性的重要一步。”

Nature 方面认为，与在预印本 arXiv 发表论文不同，参与同行评审的外部专家不再是单向接收信息，而是在一个由独立第三方监督和管理的协作过程中提问并请求更多信息。“虽然这不总能带来重大改变，但可以增加研究的信任度。对于 AI 开发者而言，这意味着他们的工作得到了‘权威背书’，从而在不同社区中更具公信力。”

同时，同行评审还起到了制衡作用，避免 AI 开发者(zhě)通(tōng)过(guò)挑(tiāo)选(xuǎn)最(zuì)有(yǒu)利(lì)于(yú)自(zì)己(jǐ)模(mó)型(xíng)的(de)基(jī)准(zhǔn)测(cè)试(shì)而(ér)“自(zì)我(wǒ)打(dǎ)分(fēn)”。这(zhè)是(shì)因(yīn)为(wèi)，基(jī)准(zhǔn)测(cè)试(shì)是(shì)可(kě)以(yǐ)被(bèi)操(cāo)控(kòng)的(de)。例(lì)如(rú)，如(rú)果(guǒ)训(xun)练(liàn)数(shù)据(jù)中(zhōng)包(bāo)含(hán)测(cè)试(shì)题(tí)目(mù)和(hé)答(dá)案(àn)，模(mó)型(xíng)就(jiù)可(kě)能提前学会正确回答，从而导致其能力被高估。
此外，同行评审还可以(yǐ)促(cù)成(chéng)论(lùn)文的(de)其(qí)他(tā)重(zhòng)要(yào)修(xiū)改(gǎi)，其(qí)中(zhōng)之(zhī)一(yī)是(shì)确(què)保(bǎo)作(zuò)者(zhě)对(duì)模(mó)型(xíng)的(de)安(ān)全性(xìng)有(yǒu)所(suǒ)回(huí)应(yīng)。AI 的(de)安(ān)全性(xìng)意(yì)味(wèi)着(zhe)要(yào)避(bì)免(miǎn)意(yì)料(liào)之(zhī)外(wài)的(de)有(yǒu)害(hài)后(hòu)果(guǒ)，包(bāo)括缓解输出中的固有偏见，以及增加防护措施以避免 AI 被用于网络攻击。

一些人认为开源模型比专有模型更不安全，因为一旦用户下载，它们就脱离了开发者的控制。不过，开源模型也让更广泛的社区能够理解并修复缺陷。

例如，DeepSeek-R1 的审稿人指出，论文缺少关于安全性测试的信息——并未评估基于 R1 构建一个不安全模型的难易程度。作为回应，研究团队在论文中添加了重要细节，包括一个专门的章节，介绍了他们如何评估模型的安全性并将其与竞争模型进行比较。

鉴于 DeepSeek-R1 是一个开放权重模型，任何研究人员和公众都可以不受限制地自由下载、使用、测试和在其基础上进行开发，因此其安全问题不容忽视。

在 Editorial 文章的最后，Nature 呼吁道，希望更多的 AI 公司将其模型提交给出版物评审。“评审并不意味着让外界接触公司的秘密，而是要准备好用证据支持你的言论，并确保相关主张得到验证和澄清。”

如今，伴随着国内外 AI 行业的白热化竞争，一些模型厂商在投入巨大资金的同时，忽视了数据偏见、模型安全等问题，甚至存在主动刷榜、夸大模型能力的行为，“对社会而言是切实的风险”（a real risk for society）。

或许正如 Nature 所言，依赖独立研究者的同行评审，是缓解 AI 行业炒作的一种方式。

对此，你怎么看？

作者：学术君