385
个编辑
更改
无编辑摘要
- 为了解决可读性和语言混合问题，DeepSeek-R1引入了冷启动数据和多阶段训练方法。
- 为了解决可读性和语言混合问题，DeepSeek-R1引入了冷启动数据和多阶段训练方法。
- 这些改进使得模型在推理任务中的表现与OpenAI的o1-1217模型相当。
- 这些改进使得模型在推理任务中的表现与OpenAI的o1-1217模型相当。
尽管 DeepSeek-R1-Zero 显示出了强大的推理能力，但其输出不符合人类的阅读习惯，且会混杂中英文甚至代码和数学符号，所以人类的阅读体验并不好。而使模型的输出符合人类习惯，就很适合使用微调技术。于是deepseek团队一定程度上又把SFT技术请了回来，在最初先使用少量标注数据对基模进行SFT，作为冷启动，然后再进行 DeepSeek-R1-Zero 所经历的大规模强化学习。这次冷启动阶段的SFT和以往的“先SFT后RL”训练过程有显著区别，最大的区别在于数量上。比如DeepseekMath在RL前的SFT阶段使用了77.6万个样本，而这次的冷启动阶段只使用了几千个。也正因为冷启动阶段用于微调的样本量相对较少，所以工程人员可以精心挑选这些样本，因此它们的质量也比以往SFT阶段用到的数据要高得多。事先使用高质量数据微调后，模型在开始就会使用人类偏好的语言和思维风格进行思考，吐出对人类阅读体验友好的结果。且由于这些微调数据一般都有高质量的思维链（Chain of Thoughts），在后续的强化学习之始可以跳过不断随机摸索的阶段，快速发展出使用思维链进行复杂推理的能力。因此，少批量高质量数据的冷启动不仅能使模型输出符合人类阅读偏好，还能使模型更快收敛，获得更强的推理能力。
经过第一阶段得冷启动和第二阶段的大规模强化学习后，第三和第四阶段的训练分别是提高模型各方面能力的大规模微调和增强模型有用性及无害性的进一步强化学习。
===蒸馏技术===
===蒸馏技术===