761
个编辑
更改
跳到导航
跳到搜索
第218行：
第218行： + + + + + 第223行：
第228行： − − ==== DreamerV2 ==== 第232行：
第235行： − − ==== DreamerV2 ==== 第240行：
第241行： − + + + + + + + + + + + + + + + + + +
→在Mujoco、Atari、DMC等环境下的表现
==== DreamerV2 ====
==== DreamerV2 ====
DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。
[[文件:3-1.png|无框]]
[[文件:3-4.png|无框|600x600像素]]
[[文件:3-T1.png|无框|600x600像素]]
==== DreamerV3 ====
==== DreamerV3 ====
=== 与SAC、TD3、PPO等方法的对比 ===
=== 与SAC、TD3、PPO等方法的对比 ===
==== DreamerV3 ====
==== DreamerV3 ====
=== 在高维视觉输入上的优势 ===
=== 在高维视觉输入上的优势 ===
==== DreamerV3 ====
==== DreamerV3 ====
=== 其他应用 ===
=== 其他应用 ===
==== DreamerV2 ====
==== DreamerV2：消融研究 ====
在探索DreamerV2算法卓越性能的成因时，研究人员开展了全面深入的消融研究。消融研究作为一种常用且有效的分析手段，通过系统地去除、改变模型中的特定组件，来精准观测这些调整对模型整体性能的影响，进而挖掘出模型中各个要素的重要性和作用机制。
在对DreamerV2的消融研究中，主要围绕几个关键部分展开。
在潜在变量的研究上，着重对比了DreamerV2所采用的分类潜在变量和DreamerV1运用的高斯潜在变量。大量实验结果表明，分类潜在变量在众多任务中展现出明显优势，在42个任务上的表现超越了高斯潜在变量。进一步探究发现，这可能得益于多个因素：从概率分布特性来看，分类先验能够完美适配聚合后的后验分布，而高斯先验在面对混合高斯后验时则难以匹配，这使得分类潜在变量在预测图像间复杂的多模态变化时更具优势；从数据表示角度，由分类潜在变量向量生成的稀疏性结构，有助于提升模型的泛化能力，其展平后的稀疏二进制向量在信息表达上更为高效；在优化难度方面，分类变量或许更容易进行优化，直通梯度估计器的特性减少了可能导致梯度异常的因素；在任务适配性上，分类变量更契合Atari游戏中诸如场景切换、物体出现或消失等非平滑变化的建模需求。
KL平衡也是本次消融研究的重点内容。研究结果显示，KL平衡在大部分任务（44个）中，表现优于标准的KL正则化方式。这一技术的核心价值在于，它能够引导世界模型学习到更为准确的先验动力学。在策略优化过程中，通过对先验交叉熵和后验熵的合理调整，鼓励模型朝着改进先验动力学、使其更接近真实后验的方向进行优化，从而为模型性能的提升奠定坚实基础。
模型梯度在DreamerV2的运行机制中扮演着关键角色。其中，图像梯度对于世界模型的正常运作至关重要，当停止图像梯度的输入时，大部分（51个）任务的性能出现了明显下降。这一现象充分证明，DreamerV2的世界模型高度依赖高维图像所提供的学习信号来构建对环境的有效认知。而对于奖励梯度，研究发现停止其输入后，在15个任务上性能有所提升，在22个任务上有所下降，还有18个任务持平。这一结果表明，不专门针对过往奖励进行预测学习的模型表示，在面对未曾经历的新情况时，可能具备更好的泛化性能，能够更灵活地应对不同场景。
在策略梯度的研究中，发现DreamerV2在学习策略时主要依赖强化梯度。虽然混合强化梯度和直通梯度在诸如《 James Bond》和《Seaquest》等个别游戏中，能够显著提升成绩，但单独使用直通梯度进行策略优化时，效果却不尽如人意，在44个任务中表现不佳。这主要是因为直通梯度本身存在一定偏差，无法像强化梯度那样为策略学习提供稳定且有效的引导。
综上所述，这些消融研究全面且细致地揭示了离散潜在变量、KL平衡、图像梯度和强化梯度等因素，在DreamerV2实现卓越性能过程中所发挥的不可或缺的作用。它们不仅为深入理解DreamerV2算法的内在机制提供了关键线索，也为后续对该算法的进一步优化和改进指明了方向，具有重要的理论和实践意义。
[[文件:3-5.png|无框|600x600像素]]
[[文件:3-T2.png|无框|600x600像素]]
==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====
==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====