更改

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

- '''规则化奖励（Rule-based reward）'''：规则化奖励则是为了防止大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。[[DeepSeek-R1-Zero]]没有使用结果或过程神经奖励模型，而是要求模型在提供答案的同时输出规范化的思考过程。这就像为了防止科研小组通过作弊取得优势，要求他们必须记录规范的解题过程，而不仅仅是给出结果。

- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，二代码题的答案还可以直接丢尽编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出整个思考过程并放在"<think>...</think>"的格式里。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。

基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

受到[[DeepSeek-R1-Zero]]成果的启发，研究人员提出了两个未来研究方向。首先，作为冷启动，纳入少量高质量数据能否进一步提高推理性能或加速收敛？其次，如何才能训练出一个用户友好型模型，不仅能生成清晰连贯的[[思维链]]（CoT），还能展示强大的通用能力？这些问题的探索将为模型的发展提供新的思路和可能性。

受到[[DeepSeek-R1-Zero]]成果的启发，研究人员提出了两个未来研究方向。首先，作为冷启动，纳入少量高质量数据能否进一步提高推理性能或加速收敛？其次，如何才能训练出一个用户友好型模型，不仅能生成清晰连贯的[[思维链]]（CoT），还能展示强大的通用能力？这些问题的探索将为模型的发展提供新的思路和可能性。

===DeepSeek-R1-Zero 的顿悟时刻===

===DeepSeek-R1-Zero 的顿悟时刻===