385
个编辑
更改
跳到导航
跳到搜索
第47行：
第47行： − + − DeepSeek团队使用蒸馏技术将大模型的推理能力传递到小型模型，帮助小型模型提高推理能力，使其在推理任务中表现更加优异。+ − DeepSeek团队将DeepSeek-R1整理的80万样本对开源模型如Qwen（Qwen, 2024b）和Llama（AI@Meta, 2024）进行了微调，使用的基础模型具体包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B和Llama-3.3-70B-Instruct（Llama-3.3推理能力略优于Llama-3.1，故选Llama-3.3）。+ − − 样本包括大约60万个推理数据和20万个非推理数据。DeepSeek团队策划推理提示，并通过执行来自上述强化学习训练的检查点的拒绝采样来生成推理轨迹。在前一阶段，DeepSeek团队只包括可以使用基于规则的奖励进行评估的数据。然而，在这个阶段，DeepSeek团队通过结合额外的数据来扩展数据集，其中一些数据使用生成性奖励模型，通过将真实情况和模型预测输入到DeepSeek-V3中进行判断。此外，由于模型输出有时混乱且难以阅读，DeepSeek团队已经过滤掉了包含混合语言、长段落和代码块的推理链。对于每个提示，DeepSeek团队采样多个响应并只保留正确的。最后，DeepSeek团队收集了大约60万个与推理相关的训练样本。对于写作、事实问答、自我认知和翻译等非推理数据，DeepSeek团队采用DeepSeek - V3的流程，并复用DeepSeek - V3的部分监督微调数据集。对于某些非推理任务，DeepSeek团队在通过提示回答问题之前，调用DeepSeek - V3生成一个潜在的思维链。然而，对于像“你好”这样简单的查询，DeepSeek团队不会提供思维链作为回复。最后，DeepSeek团队总共收集了大约20万个与推理无关的训练样本。 − 最后，DeepSeek团队使用上述策划的数据集（大约80万个样本）对DeepSeek-V3-Base进行了两个周期的微调。研究结果表明：这种简单的蒸馏方法显著提升了小型模型的推理能力。 − − 对于蒸馏后的模型，尽管纳入强化学习（RL）可以大幅提升模型性能，但是DeepSeek团队的目的是展示蒸馏技术的有效性，故仅应用监督微调（SFT），不包含强化学习（RL）阶段。研究社区可以继续探究强化学习的阶段。
→蒸馏技术
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者<ref>HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531</ref>提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的知识转移到小型、简单模型（学生模型）的技术，旨在提升小模型的性能并降低计算资源需求。例如，在分类任务中，教师模型进行预测时，除了给出概率最大的类别作为硬标签，也会同时给出每个类别的概率分布作为软标签。学生模型根据教师模型的软标签和数据本身的硬标签进行训练，其损失函数包括学生模型输出与数据本身硬标签之间的交叉熵损失，学生模型输出与教师模型软标签的蒸馏损失。
2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者<ref>HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531</ref>提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的'''知识'''转移到小型、简单模型（学生模型）的技术。DeepSeek团队发现，不仅仅是知识，推理能力也可以从大模型的推理能力蒸馏递到小模型。
DeepSeek团队用DeepSeek-R1第三阶段整理得到的80万样本对一些开源模型如Qwen2.5和Llama3.3的小模型版本进行了直接微调。它们发现，仅仅是如此简单的微调就能大大提升小模型的推理能力，而且这种幅度的提升是仅凭大规模强化学习所不能得到的。为此，它们使用Qwen-32B-Base做了一个实验，对其分别做了与Deepseek-R1-Zero相同的大规模强化学习<ref> 这里有点微妙。原文是“we conduct large-scale RL training on Qwen-32B-Base using math,code,and STEM data,training for over '''10K steps'''”。很难说1万步的训练到底够不够大规模。</ref>，以及从Deepseek-R1做蒸馏。实验结果是，大规模强化学习后得到的版本，DeepSeek-R1-Zero-Qwen-32B，与QwQ-32B-Preview型能相似，然而从Deepseek-R1蒸馏得到的DeepSeek-R1-Distill-Qwen-32B表现却远超前两者。
至此我们也能暂且得出结论：模型蒸馏技术非常有用，相比之下，小模型做大规模强化学习不仅消耗大量算力，而且结果还不如从大模型蒸馏所得。然而，这一切的前提是有这么一个有强能力的大模型。因此，要获得更强的推理能力，还是需要更强的大模型和更大规模的强化学习。
===性能表现===
===性能表现===