更改

知识基准测试

====知识基准测试====

在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。

在 MMLU、MMLU-Pro 和 GPQA Diamond 等知识基准测试表明，DeepSeek-R1 在 STEM（科学、技术、工程和数学）相关问题上相比 DeepSeek-V3 具有显著的改进。研究者将其归因于大规模强化学习（reinforcement learning, RL）的使用。

长上下文任务

====长上下文任务====

DeepSeek-R1 在 FRAMES（依赖长上下文的问答任务）基准测试中展现了强大的文档分析能力。

DeepSeek-R1 在 FRAMES（依赖长上下文的问答任务）基准测试中展现了强大的文档分析能力。

事实性问答

====事实性问答====

在 SimpleQA 基准测试中，DeepSeek-R1 超越了 DeepSeek-V3，证明了其处理基于事实查询的能力。但是在中文 SimpleQA 基准上，DeepSeek-R1 的表现不如 DeepSeek-V3，主要由于安全强化学习（safety RL）导致模型拒绝回答某些问题。

在 SimpleQA 基准测试中，DeepSeek-R1 超越了 DeepSeek-V3，证明了其处理基于事实查询的能力。但是在中文 SimpleQA 基准上，DeepSeek-R1 的表现不如 DeepSeek-V3，主要由于安全强化学习（safety RL）导致模型拒绝回答某些问题。

遵循格式指令的能力

====遵循格式指令的能力====

DeepSeek-R1 在 IF-Eval 基准测试中表现优异。这个测试专注于评估模型遵循格式指令（format instructions）的能力。这些改进主要归因于监督微调（supervised fine-tuning, SFT）和强化学习（RL）后期阶段中指令遵循数据的引入

DeepSeek-R1 在 IF-Eval 基准测试中表现优异。这个测试专注于评估模型遵循格式指令（format instructions）的能力。这些改进主要归因于监督微调（supervised fine-tuning, SFT）和强化学习（RL）后期阶段中指令遵循数据的引入

写作和开放问答任务

====写作和开放问答任务====

在 AlpacaEval 2.0 和 ArenaHard 基准测试中，DeepSeek-R1 表现出色，进一步表明其在写作任务和开放问答（open-domain question answering）中的优势，强调了大规模强化学习的泛化优势，不仅增强了推理能力，还提升了跨领域的表现能力。此外，DeepSeek-R1 生成的摘要长度简洁，表明 DeepSeek-R1 在基于 GPT 的评估中避免了引入长度偏差（length bias），进一步巩固了其在多任务中的稳健性。

在 AlpacaEval 2.0 和 ArenaHard 基准测试中，DeepSeek-R1 表现出色，进一步表明其在写作任务和开放问答（open-domain question answering）中的优势，强调了大规模强化学习的泛化优势，不仅增强了推理能力，还提升了跨领域的表现能力。此外，DeepSeek-R1 生成的摘要长度简洁，表明 DeepSeek-R1 在基于 GPT 的评估中避免了引入长度偏差（length bias），进一步巩固了其在多任务中的稳健性。

数学和编程任务

====数学和编程任务====

在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。

在数学（如 AIME 2024 和 MATH-500）和编程任务（如 LiveCodeBench 和 Codeforces）中，DeepSeek-R1 的表现显著优于其他模型，并与 OpenAI-o1-1217 相当。