385
个编辑
更改
跳到导航
跳到搜索
第26行：
第26行： − - 第一阶段：冷启动SFT，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能+ − - 第二阶段：大规模RL，使模型涌现出强推能力+ − - 第三阶段：大规模SFT，提高模型其他方面的通用能力+ − - 第四阶段：进一步RL，进一步提高推理能力，有用性，和减少其输出的有害内容+
→冷启动数据与多阶段训练
总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：
总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：
* 第一阶段：冷启动SFT，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能
* 第二阶段：大规模RL，使模型涌现出强推能力
* 第三阶段：大规模SFT，提高模型其他方面的通用能力
* 第四阶段：进一步RL，进一步提高推理能力，有用性，和减少其输出的有害内容
可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段SFT、第六RL，第七阶段SFT、第八阶段RL，不断迭代提高模型的能力。
可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段SFT、第六RL，第七阶段SFT、第八阶段RL，不断迭代提高模型的能力。