761
个编辑
更改
跳到导航
跳到搜索
第295行：
第295行： + + + 第302行：
第305行： − + + +
→DreamerV2（PLL：关于附录B放在这里还是其他应用或者不放？附录A我感觉没有什么对比就没放）
** 引入'''任务自适应正则化（task-adaptive regularization）'''，提升跨任务泛化能力。
** 引入'''任务自适应正则化（task-adaptive regularization）'''，提升跨任务泛化能力。
** 世界模型结构更深层次，引入'''更强的隐状态表达能力'''。
** 世界模型结构更深层次，引入'''更强的隐状态表达能力'''。
关键改进具体内容
'''DreamerV1 → DreamerV2：'''
----
----
=== 在Mujoco、Atari、DMC等环境下的表现 ===
=== 在Mujoco、Atari、DMC等环境下的表现 ===
==== DreamerV2（PLL：关于附录B放在这里还是其他应用或者不放？附录A我感觉没有什么对比就没放） ====
==== DreamerV2 ====
（PLL：关于附录B放在这里还是其他应用或者不放？附录A我感觉没有什么对比就没放）
DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。
DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。