更改

总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：

总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：

- 第一阶段：冷启动SFT，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能

* 第一阶段：冷启动SFT，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能

- 第二阶段：大规模RL，使模型涌现出强推能力

* 第二阶段：大规模RL，使模型涌现出强推能力

- 第三阶段：大规模SFT，提高模型其他方面的通用能力

* 第三阶段：大规模SFT，提高模型其他方面的通用能力

- 第四阶段：进一步RL，进一步提高推理能力，有用性，和减少其输出的有害内容

* 第四阶段：进一步RL，进一步提高推理能力，有用性，和减少其输出的有害内容

可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段SFT、第六RL，第七阶段SFT、第八阶段RL，不断迭代提高模型的能力。

可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段SFT、第六RL，第七阶段SFT、第八阶段RL，不断迭代提高模型的能力。