更改

==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====

==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====

除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind BSuite基准测试中（涵盖23个环境共468种配置），DreamerV3再次取得了新的总体最优成绩，超越了此前表现最好的方法，如Bootstrapped DQN和Muesli。尤其在奖励尺度变化显著的子任务上，DreamerV3的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。<br>在Crafter环境中（一个像素风格的开放世界生存游戏），DreamerV3 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的 PPO、OC-SA 探索方法、DreamerV2及 Rainbow DQN 等），DreamerV3实现了更高的平均得分和任务完成度，成为该环境下的新状态-of-the-art。这一结果显示，DreamerV3所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。<br>最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约1亿步时，多数运行均能稳定获取钻石。论文报告显示，在40个不同随机种子的实验中，有24个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。<br>综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。<br>

除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind BSuite基准测试中（涵盖23个环境共468种配置），DreamerV3再次取得了新的总体最优成绩，超越了此前表现最好的方法，如[[Bootstrapped DQN]]和[[Muesli]]。尤其在奖励尺度变化显著的子任务上，DreamerV3的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。<br>在Crafter环境中（一个像素风格的开放世界生存游戏），DreamerV3 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的[[PPO]]、[[OC-SA 探索方法]]及 [[Rainbow DQN]] 等），DreamerV3实现了更高的平均得分和任务完成度。这一结果显示，DreamerV3所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。<br>最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约1亿步时，多数运行均能稳定获取钻石。论文报告显示，在40个不同随机种子的实验中，有24个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。<br>综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。<br>

<br>[[File:mycraft.png|400px]]<br>图8. DreamerV3 在 Minecraft Diamond 任务中的探索进展<br>

<br>[[File:mycraft.png|400px]]<br>图8. DreamerV3 在 Minecraft Diamond 任务中的探索进展<br>

<br>上图展示了DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。

<br>上图展示了DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。