DeepSeek-R1 - 版本历史

2025年2月24日 (一) 04:13 相信未来

2025-02-24T04:13:46Z

相信未来：/* 参考文献 */

2025-02-24T02:47:15Z

参考文献

2025年2月24日 (一) 02:43 相信未来

2025-02-24T02:43:21Z

Qige96：/* DeepSeek-R1-Zero与强化学习 */

2025-02-06T05:12:39Z

DeepSeek-R1-Zero与强化学习

2025年2月5日 (三) 02:17 Aceyuan

2025-02-05T02:17:07Z

2025年2月1日 (六) 13:08 Jake

2025-02-01T13:08:07Z

Jake：/* DeepSeek-R1发布带来的社会影响 */

2025-02-01T13:05:48Z

DeepSeek-R1发布带来的社会影响

Jake：/* DeepSeek-R1发布带来的社会影响 */

2025-02-01T13:04:42Z

DeepSeek-R1发布带来的社会影响

Jake：/* DeepSeek-R1发布带来的社会影响 */

2025-02-01T12:55:46Z

DeepSeek-R1发布带来的社会影响

2025年2月1日 (六) 10:40 Jake

2025-02-01T10:40:11Z

←上一版本		2025年2月24日 (一) 04:13的版本
第195行：		第195行：

	----		----
−	此词条由[[宁定扬]]、[[冉天枢]]、[[范卓仪]]、[[潘琳莉]]、[[袁冰]]和[[王志鹏]]编写，[[张江]]、[[王志鹏]]整理和审校。	+	此词条由[[朱瑞琪]]、[[宁定扬]]、[[冉天枢]]、[[范卓仪]]、[[潘琳莉]]、[[袁冰]]和[[王志鹏]]编写，[[张江]]、[[王志鹏]]整理和审校。

@@ 第195行： / 第195行： @@
 ----
-此词条由[[宁定扬]]、[[范卓仪]]、[[潘琳莉]]、[[袁冰]]和[[王志鹏]]编写，[[张江]]、[[王志鹏]]整理和审校。
+此词条由[[宁定扬]]、[[冉天枢]]、[[范卓仪]]、[[潘琳莉]]、[[袁冰]]和[[王志鹏]]编写，[[张江]]、[[王志鹏]]整理和审校。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
 ==加入我们==

@@ 第193行： / 第193行： @@
 ==参考文献==
 <references />
 ==加入我们==

@@ 第32行： / 第32行： @@
 - '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。
-- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，二代码题的答案还可以直接丢进编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。
+- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，而代码题的答案还可以直接丢进编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。
 基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

@@ 第32行： / 第32行： @@
 - '''组相对策略优化（GRPO）'''：GRPO方法放弃了通常与策略模型大小相同的[[批评者模型]]，而是通过组得分来估计基线。这种方法类似于多个科研小组共同攻关同一个课题，当某个小组取得领先时，其他小组会复制其方法，从而节省强化学习的训练成本。
-- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，二代码题的答案还可以直接丢尽编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。
+- '''基于规则的奖励（Rule-based reward）'''：即训练过程中的奖励由一个规则系统给出（而非神经网络）。例如，确定性的数学题答案可以和事先给定的标准答案对比，确定奖惩信号，二代码题的答案还可以直接丢进编译器，由编译器给出通过与否的奖惩信号。除此了答案正确与否的奖惩信号，奖励系统中还引入了格式的奖惩信号，即希望模型输出遵守给定的格式，即整个思考过程并放在“<think>...</think>”里，而最终答案放在“<answer>...</answer>”。 基于规则的奖励实现起来简单高效，也避免了基于神经网络的奖励系统在大规模强化学习过程中可能出现的“奖励操纵”（reward hacking）。
 基于上述策略，[[DeepSeek-R1-Zero]]的训练展示了两个显著效果。首先，模型自然而然地学会了用更多的思考时间来解决推理任务。这一变化并非通过外部压力实现，而是模型内在发展的结果。其次，模型进化出了复杂性，并产生了引人注目的“[[顿悟时刻]]”。这些结果表明，[[DeepSeek-R1-Zero]]在推理能力上取得了重要突破。

@@ 第189行： / 第189行： @@
 * 2025年1月27日起，DeepSeek的服务器受到大规模网络攻击，许多用户无法登录或注册，或者进行对话。<ref name=":2">{{Cite web |title=攻击DeepSeek数量激增 中国网安专家：IP均来自美国 |url=https://www.zaobao.com.sg/realtime/china/story20250129-5803705 |website=联合早报 |date=2025-01-28 |access-date=2025-01-29}}</ref>
 * 2025年1月28日，DeepSeek表示，为持续提供服务，暂时限制中国以外号码的注册。<ref name=":2" /><ref>{{Cite web |title=360宣布无偿为DeepSeek提供安全服务 |url=https://www.qlwb.com.cn/detail/25577947.html |website=齐鲁晚报 |date=2025-01-28 |access-date=2025-01-29}}</ref>
-* [[OpenAI]]表示，其有证据表明DeepSeek使用OpenAI的专有模型来训练自己的开源模型，这违反了OpenAI的服务条款。<ref>{{Cite web |title=OpenAI称有证据表明DeepSeek利用其模型训练竞争对手 |url=https://www.rfi.fr/cn/%E5%9B%BD%E9%99%85/20250129-openai%E7%A7%B0%E6%9C%89%E8%AF%81%E6%8D%AE%E8%A1%A8%E6%98%8Edeepseek%E5%88%A9%E7%94%A8%E5%85%B6%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%AB%9E%E4%BA%89%E5%AF%B9%E6%89%8B |website=RFI - 法国国际广播电台 |date=2025-01-29 |language=zh-Hans |access-date=2025-01-29}}</ref>
+* [[OpenAI]]表示，其有证据表明DeepSeek使用OpenAI的专有模型来训练自己的开源模型，这违反了OpenAI的服务条款。<ref>{{Cite web |title=OpenAI称有证据表明DeepSeek利用其模型训练竞争对手 |url=https://www.rfi.fr/cn/%E5%9B%BD%E9%99%85/20250129-openai%E7%A7%B0%E6%9C%89%E8%AF%81%E6%8D%AE%E8%A1%A8%E6%98%8Edeepseek%E5%88%A9%E7%94%A8%E5%85%B6%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%AB%9E%E4%BA%89%E5%AF%B9%E6%89%8B |website=RFI - 法国国际广播电台 |date=2025-01-29 |access-date=2025-01-29}}</ref>
 ==参考文献==

@@ 第187行： / 第187行： @@
 ===相关事件===
 * 2025年1月27日，DeepSeek超越ChatGPT，登顶苹果App Store美国区免费APP下载排行榜。<ref>{{Cite web |title=DeepSeek超越ChatGPT，登顶苹果美国区免费APP下载排行榜 |url=https://www.thepaper.cn/newsDetail_forward_30041291 |website=澎湃新闻 |date=2025-01-27 |author=李潇潇, 胡含嫣 |access-date=2025-01-29}}</ref>
-* 2025年1月27日起，DeepSeek的服务器受到大规模网络攻击，许多用户无法登录或注册，或者进行对话。<ref name=":2">{{Cite web |title=攻击DeepSeek数量激增 中国网安专家：IP均来自美国 |url=https://www.zaobao.com.sg/realtime/china/story20250129-5803705 |website=联合早报 |date=2025-01-28 |language=zh-Hans |access-date=2025-01-29}}</ref>
+* 2025年1月27日起，DeepSeek的服务器受到大规模网络攻击，许多用户无法登录或注册，或者进行对话。<ref name=":2">{{Cite web |title=攻击DeepSeek数量激增 中国网安专家：IP均来自美国 |url=https://www.zaobao.com.sg/realtime/china/story20250129-5803705 |website=联合早报 |date=2025-01-28 |access-date=2025-01-29}}</ref>
 * 2025年1月28日，DeepSeek表示，为持续提供服务，暂时限制中国以外号码的注册。<ref name=":2" /><ref>{{Cite web |title=360宣布无偿为DeepSeek提供安全服务 |url=https://www.qlwb.com.cn/detail/25577947.html |website=齐鲁晚报 |date=2025-01-28 |access-date=2025-01-29}}</ref>
 * [[OpenAI]]表示，其有证据表明DeepSeek使用OpenAI的专有模型来训练自己的开源模型，这违反了OpenAI的服务条款。<ref>{{Cite web |title=OpenAI称有证据表明DeepSeek利用其模型训练竞争对手 |url=https://www.rfi.fr/cn/%E5%9B%BD%E9%99%85/20250129-openai%E7%A7%B0%E6%9C%89%E8%AF%81%E6%8D%AE%E8%A1%A8%E6%98%8Edeepseek%E5%88%A9%E7%94%A8%E5%85%B6%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%AB%9E%E4%BA%89%E5%AF%B9%E6%89%8B |website=RFI - 法国国际广播电台 |date=2025-01-29 |language=zh-Hans |access-date=2025-01-29}}</ref>

@@ 第168行： / 第168行： @@
 ==DeepSeek-R1发布带来的社会影响==
-DeepSeek-R1 模型的发布确实引发了广泛关注，尤其是在中美科技竞争背景下，其影响不仅限于技术层面，还涉及经济、政治和国际关系等多个领域。以下是该模型发布所产生的主要社会影响：
+DeepSeek-R1 模型的发布确实引发了广泛关注，尤其是在中美科技竞争背景下，其影响不仅限于技术层面，还涉及经济、政治和国际关系等多个领域。
 * 中国科技创新的标志性事件
@@ 第181行： / 第184行： @@
 * 对全球科技格局的影响
 ** 技术竞争加剧：DeepSeek-R1 的发布加剧了中美两国在人工智能领域的技术竞争，促使其他国家加快相关技术的研发和投资。
 ==参考文献==

@@ 第171行： / 第171行： @@
 * 中国科技创新的标志性事件
-技术突破的象征：DeepSeek-R1 的发布被视为中国在人工智能领域取得重大突破的标志，尤其是在推理能力方面，展示了中国在高端技术研发上的实力。
+** 技术突破的象征：DeepSeek-R1 的发布被视为中国在人工智能领域取得重大突破的标志，尤其是在推理能力方面，展示了中国在高端技术研发上的实力。
-国际影响力的提升：该模型的成功发布进一步巩固了中国在全球人工智能领域的地位，被视为中国科技创新崛起的重要里程碑。
+** 国际影响力的提升：该模型的成功发布进一步巩固了中国在全球人工智能领域的地位，被视为中国科技创新崛起的重要里程碑。
 * 对美国科技行业的影响
-科技股票波动：DeepSeek-R1 的发布引发了美国科技股票市场的震荡，尤其是英伟达等公司的股价出现下跌。市场担忧中国在人工智能领域的快速进步可能削弱美国企业的竞争优势。
+** 科技股票波动：DeepSeek-R1 的发布引发了美国科技股票市场的震荡，尤其是英伟达等公司的股价出现下跌。市场担忧中国在人工智能领域的快速进步可能削弱美国企业的竞争优势。
-企业调查与竞争压力：OpenAI 等美国科技公司对 DeepSeek-R1 的技术细节展开调查，试图了解其技术优势并制定应对策略。这加剧了中美科技企业之间的竞争。
+** 企业调查与竞争压力：OpenAI 等美国科技公司对 DeepSeek-R1 的技术细节展开调查，试图了解其技术优势并制定应对策略。这加剧了中美科技企业之间的竞争。
 * 美国政府与政策反应
-技术封禁的讨论：有报道称，美国政府正在考虑对 DeepSeek-R1 模型实施封禁或限制，以防止其技术在美国的广泛应用。这一举措反映了美国对中国技术崛起的警惕。
+** 技术封禁的讨论：有报道称，美国政府正在考虑对 DeepSeek-R1 模型实施封禁或限制，以防止其技术在美国的广泛应用。这一举措反映了美国对中国技术崛起的警惕。
-出口管制与制裁：美国政府可能进一步加强对人工智能相关技术的出口管制，限制中国获取高端芯片和关键技术，以遏制中国在人工智能领域的发展。
+** 出口管制与制裁：美国政府可能进一步加强对人工智能相关技术的出口管制，限制中国获取高端芯片和关键技术，以遏制中国在人工智能领域的发展。
 * 对全球科技格局的影响
-技术竞争加剧：DeepSeek-R1 的发布加剧了中美两国在人工智能领域的技术竞争，促使其他国家加快相关技术的研发和投资。
+** 技术竞争加剧：DeepSeek-R1 的发布加剧了中美两国在人工智能领域的技术竞争，促使其他国家加快相关技术的研发和投资。
 ==参考文献==

@@ 第166行： / 第166行： @@
 ===未来展望===
 DeepSeek团队计划进一步优化强化学习在推理任务中的应用，并探索更多蒸馏技术的潜力，以提升小型模型的推理能力。
 ==参考文献==