453
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： + + + + + + + + + + + + + + + + + + + + + + + + +
→性能表现
- **代码生成**：在HumanEval等代码生成任务中，模型展现出强大的代码理解和生成能力。
- **代码生成**：在HumanEval等代码生成任务中，模型展现出强大的代码理解和生成能力。
- **多语言推理**：尽管存在语言混合问题，模型在多语言推理任务中仍表现出色。
- **多语言推理**：尽管存在语言混合问题，模型在多语言推理任务中仍表现出色。
知识基准测试
在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。
长上下文任务
DeepSeek-R1 在 FRAMES（依赖长上下文的问答任务）基准测试中展现了强大的文档分析能力。
事实性问答
在 SimpleQA 基准测试中，DeepSeek-R1 超越了 DeepSeek-V3，证明了其处理基于事实查询的能力。但是在中文 SimpleQA 基准上，DeepSeek-R1 的表现不如 DeepSeek-V3，主要由于安全强化学习（safety RL）导致模型拒绝回答某些问题。
遵循格式指令的能力
DeepSeek-R1 在 IF-Eval 基准测试中表现优异。这个测试专注于评估模型遵循格式指令（format instructions）的能力。这些改进主要归因于监督微调（supervised fine-tuning, SFT）和强化学习（RL）后期阶段中指令遵循数据的引入
写作和开放问答任务
在 AlpacaEval 2.0 和 ArenaHard 基准测试中，DeepSeek-R1 表现出色，进一步表明其在写作任务和开放问答（open-domain question answering）中的优势，强调了大规模强化学习的泛化优势，不仅增强了推理能力，还提升了跨领域的表现能力。此外，DeepSeek-R1 生成的摘要长度简洁，表明 DeepSeek-R1 在基于 GPT 的评估中避免了引入长度偏差（length bias），进一步巩固了其在多任务中的稳健性。
数学和编程任务
在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。
===开源贡献===
===开源贡献===