761
个编辑
更改
→DreamerV3
==== DreamerV3 ====
==== DreamerV3 ====
在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。<br>
在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。<br>
<br>[[File:picture1.png|400px]]<br><br>
<br>[[File:picture1.png|400px]]<br>图 4：DreamerV3 在多个强化学习基准任务中的综合表现<br>
<br>上图展示了 DreamerV3 在多个基准环境中的平均得分表现。图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。
== 与SAC、TD3、PPO等方法的对比 ==
== 与SAC、TD3、PPO等方法的对比 ==