更改

Dreamer (查看源代码)

2025年5月26日 (一) 09:59的版本

删除14字节、 2025年5月26日 (一) 09:59

无编辑摘要

第16行：第16行：

Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在[[世界模型]]的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。

−

===世界模型架构===

+

==世界模型架构==

==== 编码器-解码器（Encoder-Decoder） ====

在Dreamer框架中，深度模型基于编码器-解码器架构，从高维感知输入（如图像）中学习紧凑的潜在表示。编码器通常由卷积神经网络（CNN）构成，用于提取图像观测的高层特征。具体地，编码器将每个观测<math>x_t</math>映射为随机潜在变量<math>z_t</math>的分布参数，例如连续高斯分布的均值和方差，或离散多分类分布的概率值。在早期方法（如PlaNet和DreamerV1）中，潜在变量<math>z_t</math>采用连续高斯分布表示。编码器输出均值<math>\mu_t</math>和标准差<math>\sigma_t</math>，并通过重参数化采样获得<math>z_t</math>。DreamerV2进一步引入了离散潜在表示：将图像编码为多个独立的分类随机变量，每个变量取值于有限类别集合。例如，DreamerV2将每幅图像映射为32个独立的分类分布，每个分布有32个可能类别，通过采样生成32个独热向量，最终连接形成潜在表示<math>z_t</math>。这种离散潜变量设计提升了模型对多模态不确定性的表达能力，使得世界模型能够更好地捕捉环境中潜在的离散变化。为了在反向传播中处理离散采样带来的不可导问题，Dreamer采用了**直通梯度（straight-through gradient）**技巧：1. 在前向传播中，从每个分类分布中采样硬的独热向量；2. 在反向传播时，使用对应的软概率分布作为梯度近似。这种处理方式兼顾了离散表示的表达力和可微分性，使得整个编码器模块能够通过标准反向传播高效训练。

第55行：第55行： −

===世界模型训练过程===

+

==世界模型训练过程==

世界模型的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

第112行：第112行： −

===~~规划与决策机制~~<big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）]]</big>~~===~~

+

==规划与决策机制==

+

<big>[[（这部分针对PlaNet的规划决策方法进行介绍，不涉及Dreamer）]]</big>

+

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化。

====潜在空间中的imagined trajectory====

第121行：第123行：

*'''模型预测控制（MPC）'''：MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为<math>s_t</math> ，作用于系统的控制动作为<math>a_t</math>，动力学模型表示为<math>s_{t+1} = f(s_t, a_t)</math>。其中<math>f</math>可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态<math>s_t</math>及动作<math>a_t</math>下的下一状态<math>s_{t+1}</math>。在时刻<math>t</math>，MPC 求解以下有限预测时域<math>H</math>上的最优动作序列：<math>\{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr)</math>。其中<math>\gamma\in(0,1]</math>为折扣因子，<math>r(s,a)</math>为即时奖赏函数，<math>H</math>称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作<math>a_t^*</math>，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。 模型预测控制（Model Predictive Control, MPC）将决策问题转化为基于模型的序列优化过程：在每一个决策时刻，智能体从当前的潜在状态出发，搜索一系列未来动作，旨在最大化预期的累计回报。通常设定有限的规划视野<math>H</math>，通过对候选动作序列进行随机采样与优化（如采用交叉熵法，Cross-Entropy Method, CEM）以评估其预期奖励，并选择回报最高的动作序列，执行其中的首个动作。PlaNet 算法正是基于此策略，利用 MPC 在潜在空间中实现高效的在线规划。该方法在每一步都结合最新观测信息重新生成规划序列，从而实现动态更新与快速响应。此类基于模型的控制方式充分发挥了世界模型对未来状态与回报的预测能力，即使在策略尚未成熟时，也能辅助代理做出较优的行动决策。然而，MPC 的一个主要限制在于其较高的计算成本——由于每个环境步长均需重新求解优化问题，因此在高频交互任务中可能成为性能瓶颈。

−

=== 策略网络与值函数 ===

+

== 策略网络与值函数 ==

尽管基于世界模型的在线规划方法（如 PlaNet 的 MPC-CEM 策略）能够充分利用模型的预测能力，并在任务早期提供良好性能，但这类方法在每一步都需高频、实时地执行代价昂贵的轨迹优化，因此在长期训练和高频交互任务中难以扩展。为了解决这一瓶颈，Dreamer 系列算法提出了一种新的路径：通过在潜在空间中生成高质量的 imagined trajectories，用于训练策略网络与价值网络，从而实现“思维先行”的策略学习。这一机制允许智能体脱离实际环境、在模型内部高效地反复试错，并通过 Actor-Critic 框架在潜在空间内持续优化其行为策略。下面将详细介绍 Dreamer 如何在这一模拟世界中训练策略网络（actor）与价值函数（critic），并探讨其在稳定性与泛化能力上的一系列优化设计。

*'''从在线规划到潜在空间策略学习'''：在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。

第230行：第232行：

='''应用与性能'''=

−

=== 在Mujoco、Atari、DMC等环境下的表现 ===

+

== 在Mujoco、Atari、DMC等环境下的表现 ==

==== DreamerV2 ====

第243行：第245行：

在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。 [[File:picture1.png|400px]] 上图展示了 DreamerV3 在多个基准环境中的平均得分表现。图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。

−

=== 与SAC、TD3、PPO等方法的对比 ===

+

== 与SAC、TD3、PPO等方法的对比 ==

==== DreamerV3 ====

第250行：第252行：

在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。 在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。 在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。 在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。 在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。 此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。

−

=== 在高维视觉输入上的优势 ===

+

== 在高维视觉输入上的优势 ==

==== DreamerV3 ====

DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如 DrQ-v2 和 CURL，取得更高分数。 在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的 PPO 派生算法（PPG）相当的表现，并显著优于 Rainbow 等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。 更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。 凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。 总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。 [[File:picture2.png|400px]]

−

=== 其他应用 ===

+

== 其他应用 ==

==== DreamerV2：消融研究 ====

念

761

个编辑