761
个编辑
更改
→蒸馏技术
- DeepSeek团队开源了六个基于Qwen和Llama的蒸馏模型，帮助小型模型提升推理能力。
- DeepSeek团队开源了六个基于Qwen和Llama的蒸馏模型，帮助小型模型提升推理能力。
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者[1]提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的知识转移到小型、简单模型（学生模型）的技术，旨在提升小模型的性能并降低计算资源需求。例如，在分类任务中，教师模型进行预测时，除了给出概率最大的类别作为硬标签，也会同时给出每个类别的概率分布作为软标签。学生模型根据教师模型的软标签和数据本身的硬标签进行训练，其损失函数包括学生模型输出与数据本身硬标签之间的交叉熵损失，学生模型输出与教师模型软标签的蒸馏损失。
DeepSeek团队使用蒸馏技术将大模型的推理能力传递到小型模型，帮助小型模型提高推理能力，使其在推理任务中表现更加优异。
DeepSeek团队将DeepSeek-R1整理的80万样本对开源模型如Qwen（Qwen, 2024b）和Llama（AI@Meta, 2024）进行了微调，使用的基础模型具体包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B和Llama-3.3-70B-Instruct（Llama-3.3推理能力略优于Llama-3.1，故选Llama-3.3）。
样本包括大约60万个推理数据和20万个非推理数据。DeepSeek团队策划推理提示，并通过执行来自上述强化学习训练的检查点的拒绝采样来生成推理轨迹。在前一阶段，DeepSeek团队只包括可以使用基于规则的奖励进行评估的数据。然而，在这个阶段，DeepSeek团队通过结合额外的数据来扩展数据集，其中一些数据使用生成性奖励模型，通过将真实情况和模型预测输入到DeepSeek-V3中进行判断。此外，由于模型输出有时混乱且难以阅读，DeepSeek团队已经过滤掉了包含混合语言、长段落和代码块的推理链。对于每个提示，DeepSeek团队采样多个响应并只保留正确的。最后，DeepSeek团队收集了大约60万个与推理相关的训练样本。对于写作、事实问答、自我认知和翻译等非推理数据，DeepSeek团队采用DeepSeek - V3的流程，并复用DeepSeek - V3的部分监督微调数据集。对于某些非推理任务，DeepSeek团队在通过提示回答问题之前，调用DeepSeek - V3生成一个潜在的思维链。然而，对于像“你好”这样简单的查询，DeepSeek团队不会提供思维链作为回复。最后，DeepSeek团队总共收集了大约20万个与推理无关的训练样本。
最后，DeepSeek团队使用上述策划的数据集（大约80万个样本）对DeepSeek-V3-Base进行了两个周期的微调。研究结果表明：这种简单的蒸馏方法显著提升了小型模型的推理能力。
对于蒸馏后的模型，尽管纳入强化学习（RL）可以大幅提升模型性能，但是DeepSeek团队的目的是展示蒸馏技术的有效性，故仅应用监督微调（SFT），不包含强化学习（RL）阶段。研究社区可以继续探究强化学习的阶段。
===性能表现===
===性能表现===