385
个编辑
更改
跳到导航
跳到搜索
第9行：
第9行： + + + + + +
→背景
总的来说，DeepSeek-R1 的开发背景是为了解决传统语言模型在复杂推理任务中的不足，通过强化学习和蒸馏技术，提升模型在数学推理、代码生成等任务中的表现，并为研究社区提供开源的推理模型资源。
总的来说，DeepSeek-R1 的开发背景是为了解决传统语言模型在复杂推理任务中的不足，通过强化学习和蒸馏技术，提升模型在数学推理、代码生成等任务中的表现，并为研究社区提供开源的推理模型资源。
===DeepSeek系列模型===
2023年7月，国内大性私募''幻方''成立了子公司''深度求索''，储备了过万张A100和H800计算显卡，开启了半年迭代一版大模型的历程：
* 2024年1月，深度求索发布了第一代模型，DeepSeekMoE系列，最大的版本有67B参数，确立了MoE架构路线，能大幅减少训练和生成期间的成本。另外，DeepSeekMoE发现了'''细粒度多数量Expert模块'''以及'''设立独立的共享Expert模块'''能获得稳定且较好的效果。
* 2024年5月，深度求索发布了第二代模型，DeepSeek-v2，最大的版本有273B参数。其中最重要的创新是'''多头潜在注意力机制(Multi-head Latent Attention，MLA)'''。MLA能大幅降低模型在生成（推理）阶段的显卡缓存占用，据报告可降到原先的5%-13%，因而可以大大提高其在生成阶段的效率。这一创新，配合其他创新使得DeepSeek-v2的生成文字的成本降到只有每百万token一块钱。
* 2024年12月，深度求索发布了第三代模型，DeepSeek-v3，最大的版本有671B参数。v3采用了'''多token预测训练（Multi-Token Prediction, MTP）'''技术以及'''无损负载均衡'''技术，在训练过程大幅提高模型能力，最终使得其模型能力比肩GPT-4o的最新版本。此外，DeepSeek-v3还第一次证明了大规模fp8混合精度训练的可行性，提出了DualPipe算法来重叠集群间计算和通信的开销，以及针对MoE架构的PD分离策略等各种技术。
==技术特点==
==技术特点==