【导语】大语言模型（LLM）能否真正推理，业内争论不断。现有强化学习（RL）方法虽能提升其推理能力，但存在奖励信号弱、数据标注成本高、难以全面平衡训练效果等问题。清华大学KEG团队提出ReST-RL新范式，有效兼顾推理能力、训练效率与通用性，为LLM强化学习提供新思路，不过该方法仍存局限，有待进一步探索。

大语言模型（LLM）真的会推理吗？业内对此争论不休。

这是因为，当前的 LLM 在面对复杂代码、多步逻辑和抽象任务时依然经常“翻车”，表现出逻辑跳跃、步骤混乱、答非所问等诸多问题。

靠人教？太慢。靠奖励？信号太弱。靠验证？数据太贵。如何兼顾推理能力、训练效率与通用性，已成为业内难题。

针对这些难题，清华大学计算机科学与技术系知识工程研究室（KEG）团队提出了一种统一的 LLM 强化学习（RL）新范式——ReST-RL。该方法通过将改进的 GRPO 算法与精心设计的由价值模型（VM）辅助的测试时解码方法相结合，在提升 LLM 推理能力的同时，也兼顾了效率、稳定性与可拓展性。

实验结果显示，在 APPS、BigCodeBench 和 HumanEval 等不同级别的知名编程基准上，ReST-RL 的性能优于其他强化训练基线(xiàn)（如(rú)原(yuán)始(shǐ) GRPO 和(hé) ReST-DPO），以(yǐ)及(jí)解(jiě)码(mǎ)和(hé)验(yàn)证(zhèng)基(jī)线(xiàn)（如(rú) PRM-BoN 和(hé) ORM-MCTS）。

这(zhè)表(biǎo)明(míng)，ReST-RL 在(zài)增(zēng)强(qiáng) LLM 策(cè)略(è)的(de)推(tuī)理(lǐ)能(néng)力(lì)方(fāng)面(miàn)潜(qián)力(lì)巨(jù)大(dà)，且(qiě)为(wèi) LLM 的(de)强(qiáng)化(huà)学(xué)习(xí)路径提(tí)供(gōng)了(le)新(xīn)思(sī)路。

现(xiàn)有(yǒu)RL方(fāng)法(fǎ)难(nán)实(shí)现(xiàn)真(zhēn)正(zhèng)推(tuī)理(lǐ)

越(yuè)来(lái)越(yuè)多(duō)的(de)研究表明，RL 能够提升 LLM 的推理能力，这(zhè)一(yī)方(fāng)向(xiàng)也(yě)成(chéng)为(wèi)当(dāng)前(qián)的(de)研(yán)究(jiū)热(rè)点(diǎn)。

其(qí)中(zhōng)一(yī)些(xiē)方(fāng)法(fǎ)采用(yòng)在(zài)线(xiàn) RL，即(jí)数(shù)据(jù)采样(yàng)与(yǔ)模(mó)型(xíng)更(gèng)新(xīn)同(tóng)步(bù)进(jìn)行(xíng)，代(dài)表(biǎo)性(xìng)方(fāng)法(fǎ)为(wèi)群(qún)体(tǐ)相(xiāng)对(duì)策(cè)略(è)优(yōu)化(huà)（GRPO）；其(qí)它方法则主张通(tōng)过(guò)离(lí)线(xiàn)采样(yàng)与(yǔ)筛(shāi)选(xuǎn)机(jī)制(zhì)获(huò)取(qǔ)训(xun)练(liàn)数(shù)据(jù)，这(zhè)一(yī)范(fàn)式(shì)通(tōng)常(cháng)被(bèi)称(chēng)为(wèi)自(zì)训(xun)练(liàn)，其(qí)代(dài)表(biǎo)方(fāng)法(fǎ)是(shì)强(qiáng)化(huà)自(zì)训(xun)练(liàn)（ReST）。尽(jǐn)管(guǎn)训(xun)练(liàn)机(jī)制(zhì)不(bù)同(tóng)，这(zhè)两(liǎng)类(lèi)方(fāng)法(fǎ)均(jūn)能(néng)有(yǒu)效(xiào)提(tí)升(shēng) LLM 的(de)推理能力。

奖励模型(xíng)（RMs）因(yīn)其(qí)在(zài)输出验证中的重要作用，正受到越来越多的关注。已有研究表明，对 LLM 最终输出进行验证的结果奖励模型（ORM）可以提升推理准确性。多种过程奖励模型（PRMs）也被用于为中间步骤提供反馈，其验证效果优于 ORM。

然而，这些方法仍存在不足。一方面，以 GRPO 为代表的在线 RL 算法，常因奖励信号差异微弱而导致训练效果不理想。尽管部分研究尝试通过设计逐步奖励或引入简单的动态采样机制缓解该问题，但这往往带来更高的计算成本与较差的泛化能力，也使 RL 算法更为复(fù)杂(zá)。另(lìng)一(yī)方面，尽管 PRMs 在验证输出方面优于 ORMs，但其训练过程通常依赖高质量的标注数据。由于数据标注成本较高，PRM 的训练数据难以扩展，从而限制了其准确性与可靠性。

有研究提出通过蒙特卡洛模拟（Monte Carlo simulations）估计(jì)并(bìng)收(shōu)集过程奖励。但是，这些方法难以推广至更复杂的推理任务，其对结果匹配机制的依赖也限制了适用范围。

总体来看，现有方法难以在数据采集成本、泛化能力、强化效果与训练效率之间实现全面平衡。

ReST-RL：训练、推理双重优化

ReST-RL 为解决训练奖励差异和 PRM 准确性问题，提供了新的可能。该方法由两个主要部分组成，分别是 ReST-GRPO（基于群体相对策略优化的强化自训练方法） 和 VM-MCTS（基于价值模型(xíng)的(de)蒙(méng)特(tè)卡(kǎ)洛(luò)树(shù)搜(sōu)索(suǒ)）。

图(tú)｜ReST-RL 框(kuāng)架(jià)

ReST-GRPO 采用(yòng)优(yōu)化(huà)后(hòu)的(de) ReST 算(suàn)法(fǎ)执(zhí)行(xíng) GRPO，从(cóng)而(ér)提(tí)升(shēng)策(cè)略(è)在(zài)复(fù)杂(zá)推(tuī)理(lǐ)任(rèn)务(wu)中(zhōng)的(de)能(néng)力(lì)。该(gāi)方(fāng)法(fǎ)利(lì)用(yòng)策(cè)略(è)本(běn)身(shēn)对(duì)训(xun)练(liàn)数(shù)据进行筛选(xuǎn)与(yǔ)组(zǔ)合(hé)，有(yǒu)效(xiào)缓(huǎn)解(jiě)了(le) GRPO 奖(jiǎng)励(lì)失(shī)效(xiào)的(de)问(wèn)题(tí)，增(zēng)强(qiáng)了(le)策(cè)略(è)生(shēng)成(chéng)可(kě)靠(kào)推(tuī)理(lǐ)轨(guǐ)迹(jī)的(de)能(néng)力(lì)。

LLM 的(de)输(shū)出(chū)解(jiě)答及其对应的(de)奖(jiǎng)励(lì)中(zhōng)蕴(yùn)含(hán)着(zhe)丰(fēng)富(fù)信(xìn)息(xi)，反(fǎn)映(yìng)其(qí)在(zài)目标任务域中的优势与短板，这些信息可用于过滤掉无效的训练数据。

研究团队采用标准差评估奖励的多样性。对于其所有解答的奖励标准差低于预设阈值 σ₀ 的提示语，将其从训练集中剔除。训练过程聚焦于那些高奖励的解答轨迹，并最终利用其部分解状态构建新的训练数据。

与普通 GRPO 相比，ReST-GRPO 能够显著提升训练过程中的奖励方差。

图｜策略训练过程中组奖励标准差的分布。

VM-MCTS 则用于 LLM 测试阶段解码。其中，价值模型（VM）的作用类似于 PRM，不仅提供验证信号，还能引导 LLM 策略探索更有潜力的推理路径。VM 的价值目标用于评估包含最后一步在内的整个部分状态，而非单一动作或步骤。它自然地反映了策略从当前局部状态到达高奖励终态zan的潜力，可在解码过程中为策略提供辅助。

在为 VM 收集训练数据时，他们采用 MCTS 方法(fǎ)，以(yǐ)在(zài)探(tàn)索(suǒ)不(bù)同(tóng)推(tuī)理(lǐ)路径和(hé)利(lì)用(yòng)高(gāo)潜(qián)力(lì)中(zhōng)间(jiān)状(zhuàng)态(tài)之(zhī)间(jiān)取(qǔ)得(de)平(píng)衡(héng)。一(yī)旦(dàn)收(shōu)集到(dào)足(zú)够(gòu)的(de)价(jià)值(zhí)目(mù)标(biāo)数(shù)据(jù)，即(jí)可(kě)训(xun)练(liàn) VM 去(qù)预(yù)测(cè)各(gè)类(lèi)状态的价值。

使用该方法训练得到的 VM 能够准确预测当前策略下部分状态的预期奖励。该算法通过价值估计来决定应当探索和解码哪些路径，从而提高搜索的效率与准确性。

研究团队通过大量编码问题实验，验证了所提出 RL 范式及其各组成部分的有效性，证明 ReST-RL 不仅能够增强 LLM 策略的推理能力，同时在效率、成本和泛化性等方面实现了较好的平衡。

结果表明，ReST-RL 及其组件在性能上全面(miàn)优(yōu)于(yú)其(qí)他(tā)强(qiáng)化(huà)学(xué)习(xí)基(jī)线(xiàn)方(fāng)法(fǎ)（如(rú)原(yuán)始(shǐ) GRPO 和(hé) ReST-DPO），以(yǐ)及(jí)解(jiě)码(mǎ)与(yǔ)验(yàn)证(zhèng)基(jī)线(xiàn)方(fāng)法(fǎ)（如(rú) PRM-BoN 和(hé) ORM-MCTS）。

在(zài)相(xiāng)同(tóng)训(xun)练(liàn)步(bù)数(shù)下(xià)进(jìn)行(xíng)测(cè)试(shì)对比表明，ReST-GRPO 相较于原始 GRPO 和 DAPO 拥有更高的训练效率。

在解码验证预算相同的条件下，VM-MCTS 及其 VM 在准确性方面，优于此前基于公开数据训练的 Math-Shepherd 风格 PRM 或 ORM。

图｜训练效率与预算内验证能力的测试。

局限与未来方向

尽管各项实验证明了 ReST-RL 的有效性，但该方法仍存在一定的局限性。

例如，研究尚未在代码推理以外的任务（如数学推理和常识推理）中对其进行验证。虽然该方法框架并不局限于代码任务，但在其他场景下的应用可能需要重新设计合适的奖励机制和实验超参数。

另外，部分实验设置对最终结果的具体影响也尚未得到系统性分析。

研究团队还表示，价值模型在域外任务中的准确性仍缺乏充分研究，后续工作将进一步探索 ReST-RL 在更广泛任务中的泛化能力。

封面图为版权图库图片，转载使用可能引发版权纠纷