更改

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

- '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。

- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，二代码题的答案还可以直接丢进编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。

- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，而代码题的答案还可以直接丢进编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。

基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。