761
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： − +
→蒸馏技术
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
- 蒸馏技术将大型模型的推理能力传递到小型模型，使得小型模型在推理任务中表现优异。
2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者[1]提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的知识转移到小型、简单模型（学生模型）的技术，旨在提升小模型的性能并降低计算资源需求。例如，在分类任务中，教师模型进行预测时，除了给出概率最大的类别作为硬标签，也会同时给出每个类别的概率分布作为软标签。学生模型根据教师模型的软标签和数据本身的硬标签进行训练，其损失函数包括学生模型输出与数据本身硬标签之间的交叉熵损失，学生模型输出与教师模型软标签的蒸馏损失。
2015年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean等学者<ref>HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[J/OL]. 2015. DOI:10.48550/arxiv.1503.02531. https://arxiv.org/pdf/1503.02531</ref>提出了在AI领域的知识蒸馏技术，即将大型、复杂模型（教师模型）的知识转移到小型、简单模型（学生模型）的技术，旨在提升小模型的性能并降低计算资源需求。例如，在分类任务中，教师模型进行预测时，除了给出概率最大的类别作为硬标签，也会同时给出每个类别的概率分布作为软标签。学生模型根据教师模型的软标签和数据本身的硬标签进行训练，其损失函数包括学生模型输出与数据本身硬标签之间的交叉熵损失，学生模型输出与教师模型软标签的蒸馏损失。
DeepSeek团队使用蒸馏技术将大模型的推理能力传递到小型模型，帮助小型模型提高推理能力，使其在推理任务中表现更加优异。
DeepSeek团队使用蒸馏技术将大模型的推理能力传递到小型模型，帮助小型模型提高推理能力，使其在推理任务中表现更加优异。