5,443
个编辑
更改
→冷启动数据与多阶段训练
总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：
总的来说，Deepseek-R1的训练分为四阶段，两个SFT阶段，两个RL阶段：
第一阶段：冷启动监督微调，培养正确（符合人类偏好）的语言习惯、激发模型的推理潜能。
第二阶段：大规模强化学习，本阶段专注于提升模型的推理密集任务的能力，并训练模型在回答问题时保持语言一致。
第二阶段：大规模强化学习，本阶段专注于提升模型的推理密集任务的能力，并训练模型在回答问题时保持语言一致。
第三阶段：大规模监督微调，结合更广阔领域的数据，提高模型其他方面的通用能力。本阶段还对推理任务和非推理任务进行分开训练。
第三阶段：大规模监督微调，结合更广阔领域的数据，提高模型其他方面的通用能力。本阶段还对推理任务和非推理任务进行分开训练。
第四阶段：进一步RL，进一步提高推理能力，响应的有效性，并减少其输出的有害内容。
可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段监督微调、第六强化学习，第七阶段监督微调、第八阶段强化学习，不断迭代提高模型的能力。
可见模型的主要推理能力涌现自第一和第二阶段，第三第四阶段更像都是后训练（post-training）。理论上还可以有第五阶段监督微调、第六强化学习，第七阶段监督微调、第八阶段强化学习，不断迭代提高模型的能力。