761
个编辑
更改
→应用与性能
='''背景知识'''=
='''背景知识'''=
世界模型通过变分自编码器（VAE）和循环网络（RNN）从高维感知数据中学习环境的潜在表示，使得智能体可以在“内心”模拟未来轨迹，从而提高决策效率和样本利用率。
模型预测控制（MPC）基于已知或学习到的动力学模型，在有限时域内不断地在线优化动作序列，以滚动时域策略实现对系统的精确控制。
Dreamer 则在 PlaNet 的潜在动力学模型基础上，进一步引入潜在空间中的“想象”轨迹和端到端的策略—价值梯度更新，通过反向传播使得策略和价值网络能够在梦中高效学习，无需昂贵的在线规划。
=== 世界模型（World Models）简介 ===
世界模型旨在构建一个能够“梦”出未来的生成式动态模型。首先，令观测序列为<math>o_t</math> ，通过 VAE 将其编码为潜在状态<math>z_t</math>：
<math>z_t \sim q_\phi(z_t\mid o_t)</math>,
其中 <math>o_t</math> 表示时刻 <math>t</math>的观测（如图像），<math>z_t</math> 为对应的潜在变量，<math>q_\phi</math>是参数为 <math>\phi</math>的近似后验分布，通常设为高斯分布，用于提取和压缩空间特征。接下来，利用循环神经网络（RNN）建模潜在动力学，预测下一时刻的潜在状态：
<math>\hat{z}_t = f_\theta(z_{t-1}, a_{t-1})</math>,
其中 <math>f_\theta</math>表示参数为 <math>\theta</math>的 RNN（例如 GRU 或 LSTM），它接收前一时刻的潜在状态<math>z_{t-1}</math>与动作<math>a_{t-1}</math>，输出对下一潜在状态的预测<math>\hat{z}_t</math>。然后，解码器 <math>p_\psi</math>从 <math>\hat{z}_t</math>重构观测并预测即时奖励：
<math>\hat{o}_t \sim p_\psi(o_t\mid \hat{z}_t), \quad \hat{r}_t = r_\psi(\hat{z}_t)</math>,
其中<math>\hat{o}_t</math>表示对原始观测<math>o_t</math>的重构，<math>\hat{r}_t</math>表示对真实奖励<math>r_t</math>的预测，<math>\psi</math>为解码及奖赏网络参数。模型通过最小化以下总损失进行训练：
<math>\mathcal{L} = \sum_t \Bigl[\underbrace{\|o_t - \hat{o}_t\|^2}_{\text{重构误差}} + \underbrace{(r_t - \hat{r}_t)^2}_{\text{奖励预测误差}} + \underbrace{\mathrm{KL}\bigl(q_\phi(z_t\mid o_t)\,\|\,p(z_t\mid z_{t-1},a_{t-1})\bigr)}_{\text{先验正则}}\Bigr]</math>,
其中<math>\mathrm{KL}(\cdot\|\cdot)</math>为 Kullback–Leibler 散度，先验分布<math>p(z_t\mid z_{t-1},a_{t-1})</math>即由 RNN 隐状态给出的预测分布。
=== 模型预测控制（Model Predictive Control, MPC）简介 ===
=== Dreamer所继承或改进的相关方法（如PlaNet） ===
----
----
='''应用与性能'''=
='''应用与性能'''=
=== 在Mujoco、Atari、DMC等环境下的表现 ===
==== DreamerV2 ====
==== DreamerV3 ====
在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。<br>[[File:picture1.png|400px]]<br>上图展示了 DreamerV3 在多个基准环境中的平均得分表现。图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。
=== 与SAC、TD3、PPO等方法的对比 ===
==== DreamerV2 ====
==== DreamerV3 ====
在各类任务环境中，DreamerV3 始终显著优于典型的模型无关深度强化学习算法。
在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。<br>在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。<br>在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。<br>在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。<br>在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。<br>此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。
在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。<br>在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。<br>在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。<br>在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。<br>在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。<br>此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。
=== 在高维视觉输入上的优势 ===
==== DreamerV2 ====
==== DreamerV3 ====
DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如 DrQ-v2 和 CURL，取得更高分数。<br>在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的 PPO 派生算法（PPG）相当的表现，并显著优于 Rainbow 等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。<br>更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。<br>凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。<br>总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。<br>[[File:picture2.png|400px]]
=== 其他应用 ===
==== DreamerV2 ====
==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====
除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind BSuite 基准测试中（涵盖23个环境共468种配置），DreamerV3 再次取得了新的总体最优成绩，超越了此前表现最好的方法，如 Bootstrapped DQN 和 Muesli。尤其在奖励尺度变化显著的子任务上，DreamerV3 的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。<br>在 Crafter 环境中（一个像素风格的开放世界生存游戏），DreamerV3 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的 PPO、OC-SA 探索方法、DreamerV2 及 Rainbow DQN 等），DreamerV3 实现了更高的平均得分和任务完成度，成为该环境下的新状态-of-the-art。这一结果显示，DreamerV3 所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。<br>最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3 在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约 1 亿步时，多数运行均能稳定获取钻石。论文报告显示，在 40 个不同随机种子的实验中，有 24 个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。<br>综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。<br>[[File:mycraft.png|400px]]<br>上图展示了 DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约 12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。
----
----