Dreamer

Dreamer框架是一个基于模型的强化学习方法，其特征在于通过学习环境的潜在模型来进行高效的规划与决策，其中的潜在模型也被称为世界模型。Dreamer由Danijar Hafner等人于2019年提出，其核心思想是通过训练一个潜在的世界模型（world model），该模型通过对环境进行内在表示建模，来模拟未来的状态变化，并基于此进行长期规划以及策略学习。与传统的强化学习方法（如基于值函数的Q学习或策略梯度方法）不同，Dreamer不直接依赖于与环境的交互，而是通过学习环境的动态模型，结合模型预测进行策略优化，从而提高了样本效率，尤其在复杂任务中能显著减少对环境交互的依赖。该方法使得强化学习能够在有限的交互次数内达到较高的性能，并在多个控制任务中取得了显著的成功。

背景知识

世界模型（World Models）的研究兴起于对强化学习中环境建模能力的不断探索，其本质上是基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）的一种实现形式。与传统的基于模型方法相同，世界模型旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用循环神经网络（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于基于模型的强化学习这一更为宽泛的范畴，世界模型更强调通过学习潜在空间的紧凑表示，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。

早期的基于模型的强化学习方法以 Sutton 在 1990 年代提出的 Dyna 框架]为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时的建模能力以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

2018 年，Ha 与 Schmidhuber 提出了开创性的 World Models 框架，标志着现代神经世界模型研究的起点。该方法利用变分自编码器（VAE）对高维图像进行压缩编码，再借助 RNN 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了世界模型在可视化环境中实现类人行为的可行性与潜力。

在此基础上，Hafner 等人于 2019 年提出了 PlaNet（Planning Network），引入了更强表达能力的循环状态空间模型（Recurrent State Space Model, RSSM），并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

随后，Hafner 团队持续优化该系列框架，陆续提出了 DreamerV1（2020）、DreamerV2（2021） 和 DreamerV3（2023）。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明世界模型已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种强化学习基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 2025 年发表在《Nature》杂志上，成为世界模型领域迈向主流通用智能路径的重要里程碑。

---

Dreamer框架原理

Dreamer 系列框架自最早的 PlaNet 提出以来，经历了一系列的改进与演化。研究者不断在世界模型的建模方式、规划效率以及训练稳定性等方面进行优化，逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上，引入了更先进的模型结构和训练机制，显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致，即通过重构观测数据来训练世界模型，并在潜在空间中建模环境的动态过程——具体而言，是通过学习循环状态空间模型（Recurrent State Space Model, RSSM）来捕捉环境的时序结构和潜在因果机制。

世界模型架构

编码器-解码器（Encoder-Decoder）

在Dreamer框架中，深度模型基于编码器-解码器架构，从高维感知输入（如图像）中学习紧凑的潜在表示。编码器通常由卷积神经网络（CNN）构成，用于提取图像观测的高层特征。具体地，编码器将每个观测[math]\displaystyle{ x_t }[/math]映射为随机潜在变量[math]\displaystyle{ z_t }[/math]的分布参数，例如连续高斯分布的均值和方差，或离散多分类分布的概率值。在早期方法（如PlaNet和DreamerV1）中，潜在变量[math]\displaystyle{ z_t }[/math]采用连续高斯分布表示。编码器输出均值[math]\displaystyle{ \mu_t }[/math]和标准差[math]\displaystyle{ \sigma_t }[/math]，并通过重参数化采样获得[math]\displaystyle{ z_t }[/math]。DreamerV2进一步引入了离散潜在表示：将图像编码为多个独立的分类随机变量，每个变量取值于有限类别集合。例如，DreamerV2将每幅图像映射为32个独立的分类分布，每个分布有32个可能类别，通过采样生成32个独热向量，最终连接形成潜在表示[math]\displaystyle{ z_t }[/math]。这种离散潜变量设计提升了模型对多模态不确定性的表达能力，使得世界模型能够更好地捕捉环境中潜在的离散变化。为了在反向传播中处理离散采样带来的不可导问题，Dreamer采用了直通梯度（straight-through gradient）技巧：1. 在前向传播中，从每个分类分布中采样硬的独热向量；2. 在反向传播时，使用对应的软概率分布作为梯度近似。这种处理方式兼顾了离散表示的表达力和可微分性，使得整个编码器模块能够通过标准反向传播高效训练。

• 编码器：在Dreamer框架中，编码器（Encoder）承担着将高维原始观测[math]\displaystyle{ x_t }[/math]映射为低维潜在表示[math]\displaystyle{ z_t }[/math]的关键任务。其设计不仅要高效提取观测中的关键信息，还需保证潜在表示能够支持环境动力学建模与未来轨迹模拟。Dreamer系列方法通常采用卷积神经网络（CNN）作为编码器的主体结构，主要特点包括：逐层卷积提取图像观测中的局部与全局特征；将输入[math]\displaystyle{ x_t }[/math]映射为一组潜在分布参数（如均值、标准差或分类概率）。编码器最终输出的不是一个确定值，而是潜在变量[math]\displaystyle{ z_t }[/math]的概率分布参数，以便支持下游的随机采样与不确定性建模。

• 解码器与观测重构：解码器（observation model）负责从潜在状态重构原始观测[math]\displaystyle{ \hat{x}_t }[/math]。通常，解码器由卷积神经网络（CNN）的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态[math]\displaystyle{ h_t }[/math]和随机成分[math]\displaystyle{ z_t }[/math]），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务：
  1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模；
  2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。
  3. DreamerV3进一步在解码器输出中引入了symlog变换处理：将原空间的像素或向量值应用对称对数压缩变换：[math]\displaystyle{ \text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|) }[/math]。
  4. 在symlog空间计算均方误差损失。
  这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。

• Dreamer根据不同版本引入了两类潜在变量设计：
  • 连续潜变量（PlaNet, DreamerV1）：1. 潜变量[math]\displaystyle{ z_t }[/math]建模为多维对角高斯分布；2. 编码器输出每一维的均值[math]\displaystyle{ \mu_t }[/math]和标准差[math]\displaystyle{ \sigma_t }[/math]；3. 使用重参数化技巧（reparameterization trick）进行采样： [math]\displaystyle{ z_t = \mu_t + \sigma_t \odot \epsilon }[/math]，其中[math]\displaystyle{ \epsilon \sim \mathcal{N}(0, I) }[/math]；4. 保证采样过程可微，支持反向传播训练。
  • 离散潜变量（DreamerV2及之后）：1. 潜变量[math]\displaystyle{ z_t }[/math]由多个独立的分类随机变量组成；2. 编码器输出每个分类变量的类别概率分布；3. 每个变量通过从分类分布中采样独热向量（one-hot vector）获得；4. 采样时采用直通梯度（straight-through gradient estimator）。这种离散化设计增强了模型捕捉环境中多模态、离散变化特征的能力，提升了世界模型在复杂动态系统中的建模灵活性。

• 潜在表示的先验与后验分布选择：在Dreamer框架中，世界模型为每个潜在变量指定先验分布[math]\displaystyle{ p_\theta(z_t|h_t) }[/math]与后验分布[math]\displaystyle{ q_\phi(z_t|h_t, x_t) }[/math]。其中：先验分布描述在缺乏真实观测[math]\displaystyle{ x_t }[/math]时，模型基于确定性隐状态[math]\displaystyle{ h_t }[/math]对下一个潜在状态的预测；后验分布则是在观察到[math]\displaystyle{ x_t }[/math]后，对潜在状态[math]\displaystyle{ z_t }[/math]的推断。当使用连续高斯潜变量时，先验和后验均建模为对角高斯分布；当使用离散潜变量时，则为多分类分布，如独热向量的离散采样表示。训练过程中，通过最大化变分下界（ELBO）联合优化编码器与解码器参数，目标包含：重构对数似然（观测、奖励、终止标志）；潜在变量先验-后验之间的KL正则项。重构损失[math]\displaystyle{ L_{\text{pred}} }[/math]通常由以下部分组成：观测重建误差（[math]\displaystyle{ -\ln p_\theta(x_t|h_t,z_t) }[/math]）；奖励预测误差（[math]\displaystyle{ -\ln p_\theta(r_t|h_t,z_t) }[/math]）；终止信号预测误差。同时，引入KL正则项：[math]\displaystyle{ D_{\text{KL}}(q_\phi(z_t|h_t,x_t) \parallel p_\theta(z_t|h_t)) }[/math]，以约束编码器后验接近动力学先验，防止编码器提取过多无关信息，提升潜在表示的可预测性与泛化能力。整体训练目标可表示为：[math]\displaystyle{ L = \mathbb{E}{q\phi} \left[ \sum_t \left( L_{\text{pred},t} + L_{\text{KL},t} \right) \right] }[/math]。

潜在动力学模型（Latent Dynamics Model）

PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态[math]\displaystyle{ h_t }[/math]和一个随机潜变量[math]\displaystyle{ s_t }[/math]（亦记作[math]\displaystyle{ z_t }[/math]）共同组成。RSSM包含以下子模块：

2. 状态转移模型： [math]\displaystyle{ h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1}) }[/math]。通常由GRU等递归神经网络实现，依据前一时刻的[math]\displaystyle{ h_{t-1} }[/math]、[math]\displaystyle{ s_{t-1} }[/math]及动作[math]\displaystyle{ a_{t-1} }[/math]，更新新的确定性状态[math]\displaystyle{ h_t }[/math]，赋予模型记忆能力，捕捉复杂非线性动态。
4. 动力学预测模型：采样规则为： [math]\displaystyle{ \hat{s}_t \sim p\phi(s_t \mid h_t) }[/math]。在缺乏观测时，根据当前[math]\displaystyle{ h_t }[/math]预测未来[math]\displaystyle{ s_t }[/math]。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。
6. 编码器（后验估计）模型：[math]\displaystyle{ s_t \sim q_\phi(s_t \mid h_t, x_t) }[/math]。给定真实观测[math]\displaystyle{ x_t }[/math]，编码器推断[math]\displaystyle{ s_t }[/math]的后验分布。训练时通过重构损失和KL散度正则化校正先验预测。
8. 观测解码器模型： [math]\displaystyle{ \hat{x}_t \sim p_{\phi}(x_t \mid h_t, s_t) }[/math]。从[math]\displaystyle{ h_t }[/math]与[math]\displaystyle{ s_t }[/math]解码出[math]\displaystyle{ x_t }[/math]，通过最大化观测似然或最小化重构误差进行训练。
10. 奖励预测模型：[math]\displaystyle{ \hat{r}_t \sim p_{\phi}(r_t \mid h_t, s_t) }[/math]。用以在潜在空间中预测奖励，辅助世界模型训练，并为策略优化提供模拟反馈。
12. 继续标志（终止预测）模型：[math]\displaystyle{ \hat{c}_t \sim p_{\phi}(c_t \mid h_t, s_t) }[/math]。预测episode是否终止（[math]\displaystyle{ c_t \in {0,1} }[/math]），即预测折扣因子[math]\displaystyle{ \gamma_t }[/math]。DreamerV2版本起引入此机制，用于在想象轨迹中判定何时停止推理。

RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态[math]\displaystyle{ h_t }[/math]累积历史信息，维持跨步连续性；随机潜变量[math]\displaystyle{ s_t }[/math]捕捉观测不确定性及新输入信息。这种设计具备重要意义：

2. 确定性路径（[math]\displaystyle{ h_t }[/math]）：通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
4. 随机路径（[math]\displaystyle{ s_t }[/math]）：引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。

• 多步预测与潜在轨迹训练：
  由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了**潜在超前（latent overshooting）**的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布[math]\displaystyle{ p(s_t \mid s_{t-1}, a_{t-1}) }[/math]与后验分布[math]\displaystyle{ q(s_t \mid h_t, x_t) }[/math]）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻[math]\displaystyle{ t-2 }[/math]起，仅基于先验动力学连续预测[math]\displaystyle{ \hat{s}_{t-1} }[/math]和[math]\displaystyle{ \hat{s}_t }[/math]，然后将预测得到的[math]\displaystyle{ \hat{s}t }[/math]与基于真实观测得到的后验[math]\displaystyle{ q(s_t \mid o{\leq t}) }[/math]进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前[math]\displaystyle{ d }[/math]步的overshooting，训练目标中引入了如下KL项：
  [math]\displaystyle{ \mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right] }[/math]
  其中，[math]\displaystyle{ p(s_t \mid s_{t-d:t-1}) }[/math]表示从[math]\displaystyle{ t-d }[/math]到[math]\displaystyle{ t-1 }[/math]的先验连续预测，[math]\displaystyle{ q(s_t \mid o_{\leq t}) }[/math]则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性.

• KL正则化与平衡技术：
  在RSSM的训练过程中，每一个时间步都需要保持先验预测[math]\displaystyle{ \hat{s}_t }[/math]与后验推断[math]\displaystyle{ s_t }[/math]的一致性，这一目标通常通过引入KL散度损失来实现。然而，在训练中存在一个关键挑战：编码器分布[math]\displaystyle{ q(s_t \mid h_t, x_t) }[/math]与动力学先验分布[math]\displaystyle{ p(s_t \mid h_t) }[/math]之间可能出现学习速度不匹配或责任分配（credit assignment）问题。具体而言，当编码器过于强大时，模型可能倾向于仅依赖后验推断，从而使先验动力学变得无关紧要；反之，若动力学先验过强，则编码器可能无法有效地从观测数据中提取信息。为了应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径以实现平衡。具体做法是：将KL散度分解为两个部分；其中一部分以停止梯度（stop gradient）的后验分布为参考，用于更新动力学先验，促使先验动态更好地跟随后验推断；另一部分则以停止梯度的先验分布为参考，用于更新编码器后验，防止后验偏离潜在动态建模。这种双路径更新机制，有效避免了模型在训练过程中过度依赖后验推断的问题，促使动态预测模块与观测编码模块在训练中保持合理协作。在此基础上，DreamerV3进一步引入了自由nats（free nats）的机制，即为KL散度设定一个最小阈值。当实际KL值低于该阈值时，不再继续压缩KL损失，从而防止潜在状态退化为无信息的情况——即虽然动力学先验易于预测，但潜在状态本身携带的信息量极低或接近于零，仅仅是为了最小化KL散度。

• RSSM架构的改进与增强：
  在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

世界模型训练过程

世界模型的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种强化学习方法，通过学习一个紧凑的潜在世界模型（世界模型，World model），将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

表征学习阶段

在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。

在表征学习阶段，DreamerV1训练了三个关键部分：

• 表征模型（Representation Model）：
  它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（[math]\displaystyle{ o_t }[/math]），推断出一个潜在状态（[math]\displaystyle{ s_t }[/math]）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：
  [math]\displaystyle{ p(s_t \mid s_{t-1}, a_{t-1}, o_t) }[/math]
  其中，[math]\displaystyle{ o_t }[/math]是当前的观察，[math]\displaystyle{ s_t }[/math]是历史的潜在状态，[math]\displaystyle{ a_{t-1} }[/math]是动作，[math]\displaystyle{ s_t }[/math]是当前时刻的潜在状态。
• 转移模型（Transition Model）：
  转移模型的作用是根据历史的潜在状态和动作预测未来的潜在状态，从一个状态转移到下一个状态。它学习在给定当前潜在状态和动作的情况下，如何生成下一个潜在状态。这使得DreamerV1能够在潜在空间中进行“想象”，预测未来的状态。其公式为：
  [math]\displaystyle{ q(s_t \mid s_{t-1}, a_{t-1}) }[/math]

• 奖励模型（Reward Model）：
  奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：
  [math]\displaystyle{ q(r_t \mid s_t) }[/math]
  式中，[math]\displaystyle{ r_t }[/math]表示奖励。

表征学习阶段的目标是最大化变分下界（ELBO），目标函数为：

[math]\displaystyle{ \mathcal{J}_{\text{REC}} \doteq \mathbb{E}_p \left( \sum_{t} \left( \mathcal{J}_{\text{O}}^{t} + \mathcal{J}_{\text{R}}^{t} + \mathcal{J}_{\text{D}}^{t} \right) \right) + \text{const} }[/math]

重建观测：[math]\displaystyle{ \mathcal{J}_{\text{O}}^{t} \doteq \ln q(o_t|s_t) }[/math]

重建奖励：[math]\displaystyle{ \mathcal{J}_{\text{R}}^{t} \doteq \ln q(r_t|s_t) }[/math]

KL正则化：[math]\displaystyle{ \mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) }[/math]

其中， [math]\displaystyle{ \ln q_\theta(o_t|s_t) }[/math]项衡量根据潜在状态[math]\displaystyle{ s_t }[/math]重建观测[math]\displaystyle{ o_t }[/math]的对数概率，[math]\displaystyle{ \ln q_\theta(r_t|s_t) }[/math]项对应根据[math]\displaystyle{ s_t }[/math]预测奖励[math]\displaystyle{ r_t }[/math]的对数概率，而[math]\displaystyle{ D_{KL}(\cdot|\cdot) }[/math]则是后验分布 [math]\displaystyle{ p_\theta(s_t|\dots) }[/math]与先验分布[math]\displaystyle{ q_\theta(s_t|\dots) }[/math]的KL散度。[math]\displaystyle{ \beta }[/math]：超参数，控制KL散度的权重（通常取1）。

Dreamer 的组成部分。引自

在实现中，表征模型采用卷积网络（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）来训练整个模型 。

重参数技巧与ELBO目标函数

在进行策略优化时，DreamerV1使用了重参数化技巧，将随机性引入可微分的路径中，从而使得梯度能够流畅地通过网络，优化潜在状态和策略网络。

例如，假设潜在状态 [math]\displaystyle{ s_t }[/math]服从某个高斯分布[math]\displaystyle{ N(\mu, \sigma^2) }[/math]，重参数化技巧允许将其转化为：

[math]\displaystyle{ s_t = \mu + \sigma \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0,1) }[/math]

这样，智能体可以通过调整 [math]\displaystyle{ \mu }[/math]和 [math]\displaystyle{ \sigma }[/math]来优化潜在状态，而不依赖于直接的随机采样，这使得模型在训练时可以反向传播梯度，从而实现优化。

ELBO目标函数结合了重建观测误差、奖励误差和KL散度，通过最大化ELBO，确保模型在潜在空间中能够高效预测未来状态和奖励，同时保持潜在空间的良好结构。

这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。

规划与决策机制

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化。

潜在空间中的imagined trajectory

PlaNet 先将高维观测 [math]\displaystyle{ o_t }[/math] 经编码器[math]\displaystyle{ q_\phi(s_t \mid o_{\le t}, a_{\lt t}\bigr) }[/math]映射为低维潜在状态 [math]\displaystyle{ s_t = [h_t,,z_t] }[/math]（确定性递归分量 [math]\displaystyle{ h_t }[/math] 与随机分量 [math]\displaystyle{ z_t }[/math] 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省 roll-out：
·前向展开（model rollout）：从当前 [math]\displaystyle{ s_0 }[/math] 出发，给定动作序列 [math]\displaystyle{ \mathbf{a}{0:H-1} }[/math]，通过转移模型[math]\displaystyle{ p_\theta(s_{t+1} \mid s_t, a_t\bigr) }[/math]并行展开 [math]\displaystyle{ H }[/math] 步，预测下一潜在状态、奖励 [math]\displaystyle{ \hat r_t }[/math] 与终止概率 [math]\displaystyle{ \hat d_t }[/math]，得到完整轨迹[math]\displaystyle{ \tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\} }[/math]。
·并行化优势：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 [math]\displaystyle{ \text{batch size}\times H }[/math] 线性相关，可在毫秒级完成。
利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。

使用MPC或policy gradient进行action selection

在获得想象轨迹后，智能体需要根据这些虚拟演练的结果选择实际执行的动作。一般而言，可采取两种途径在想象轨迹上进行决策：其一是采用模型预测控制（MPC）进行在线规划；其二是采用策略梯度方法训练出一个策略网络直接输出动作。

• 模型预测控制（MPC）：MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为[math]\displaystyle{ s_t }[/math] ，作用于系统的控制动作为[math]\displaystyle{ a_t }[/math]，动力学模型表示为[math]\displaystyle{ s_{t+1} = f(s_t, a_t) }[/math]。其中[math]\displaystyle{ f }[/math]可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态[math]\displaystyle{ s_t }[/math]及动作[math]\displaystyle{ a_t }[/math]下的下一状态[math]\displaystyle{ s_{t+1} }[/math]。在时刻[math]\displaystyle{ t }[/math]，MPC 求解以下有限预测时域[math]\displaystyle{ H }[/math]上的最优动作序列：[math]\displaystyle{ \{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr) }[/math]。其中[math]\displaystyle{ \gamma\in(0,1] }[/math]为折扣因子，[math]\displaystyle{ r(s,a) }[/math]为即时奖赏函数，[math]\displaystyle{ H }[/math]称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作[math]\displaystyle{ a_t^* }[/math]，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。
  模型预测控制（Model Predictive Control, MPC）将决策问题转化为基于模型的序列优化过程：在每一个决策时刻，智能体从当前的潜在状态出发，搜索一系列未来动作，旨在最大化预期的累计回报。通常设定有限的规划视野[math]\displaystyle{ H }[/math]，通过对候选动作序列进行随机采样与优化（如采用交叉熵法，Cross-Entropy Method, CEM）以评估其预期奖励，并选择回报最高的动作序列，执行其中的首个动作。PlaNet 算法正是基于此策略，利用 MPC 在潜在空间中实现高效的在线规划。该方法在每一步都结合最新观测信息重新生成规划序列，从而实现动态更新与快速响应。此类基于模型的控制方式充分发挥了世界模型对未来状态与回报的预测能力，即使在策略尚未成熟时，也能辅助代理做出较优的行动决策。然而，MPC 的一个主要限制在于其较高的计算成本——由于每个环境步长均需重新求解优化问题，因此在高频交互任务中可能成为性能瓶颈。

策略网络与值函数

尽管基于世界模型的在线规划方法（如 PlaNet 的 MPC-CEM 策略）能够充分利用模型的预测能力，并在任务早期提供良好性能，但这类方法在每一步都需高频、实时地执行代价昂贵的轨迹优化，因此在长期训练和高频交互任务中难以扩展。为了解决这一瓶颈，Dreamer 系列算法提出了一种新的路径：通过在潜在空间中生成高质量的 imagined trajectories，用于训练策略网络与价值网络，从而实现“思维先行”的策略学习。这一机制允许智能体脱离实际环境、在模型内部高效地反复试错，并通过 Actor-Critic 框架在潜在空间内持续优化其行为策略。下面将详细介绍 Dreamer 如何在这一模拟世界中训练策略网络（actor）与价值函数（critic），并探讨其在稳定性与泛化能力上的一系列优化设计。

从在线规划到潜在空间策略学习

在PlaNet中，智能体通过在线规划进行决策：每次动作选择时，基于当前学习到的世界模型，在潜在空间中采样并评估多个动作序列（如使用交叉熵方法CEM），选取累计奖励最高的动作执行。尽管该方法充分利用了模型的预测能力，能够动态适应每次决策，但因每步都需大规模模型推演，计算开销极高，难以扩展至大规模或实时任务。Dreamer系列则提出了另一种路径：潜在空间内离线策略学习。Dreamer让智能体在世界模型生成的“想象轨迹”中反复训练，直接学习一个策略网络（Actor）根据潜在状态快速输出动作，同时配备价值网络（Critic）估计潜在状态的长期回报，为策略优化提供梯度信号。通过这一基于模型的Actor-Critic框架，Dreamer不仅继承了模型预测的优势，还显著降低了推理时的计算成本，实现了无需实时规划即可高效决策与执行的能力。

想象环境与模拟轨迹

Dreamer通过在潜在空间中进行想象（imagination）生成训练数据。整体流程如下：

首先，从真实环境交互中收集初步经验，并将其存入经验回放池。

随后，智能体在潜在空间中反复执行以下训练循环：

1. 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测[math]\displaystyle{ o_t }[/math]编码得到的潜在表示[math]\displaystyle{ z_t }[/math]）作为想象轨迹Rollout的起点；
2. 在世界模型内部展开长度为[math]\displaystyle{ H }[/math]步的潜在轨迹（通常[math]\displaystyle{ H \approx 15 }[/math]）扩展流程：
   • ①策略网络（actor）[math]\displaystyle{ q_\phi(a_\tau\mid s_\tau) }[/math]根据当前潜在状态[math]\displaystyle{ z_t }[/math]采样动作[math]\displaystyle{ a_t }[/math]；
   • ②RSSM的转移模型[math]\displaystyle{ q_\theta(s_{\tau+1}\mid s_\tau,a_\tau) }[/math]根据[math]\displaystyle{ z_t }[/math]和[math]\displaystyle{ a_t }[/math]生成下一个潜在状态[math]\displaystyle{ z_{t+1} }[/math]；
   • ③奖励模型[math]\displaystyle{ q_\theta(r_\tau\mid s_\tau) }[/math]预测当前步的奖励[math]\displaystyle{ r_t }[/math]；
   • ④终止模型判断是否达到episode结束条件。

通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：[math]\displaystyle{ (z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H) }[/math]。这样就构造了一个在潜在状态空间中'''完全可观测的马尔可夫决策过程（MDP）''' 。这些生成的轨迹是在潜在空间中进行的，并不需要实际执行在真实环境中。换句话说，DreamerV1在潜在状态空间中“提前演练”其行为。由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。

价值函数训练

在Dreamer框架中，价值网络以潜在状态（[math]\displaystyle{ z_t }[/math]）或更完整的隐状态对（[math]\displaystyle{ h_t }[/math]，[math]\displaystyle{ s_t }[/math]）作为输入，输出一个标量（[math]\displaystyle{ v_\psi(z_t) }[/math]），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。

具体地，给定一条想象轨迹：

[math]\displaystyle{ (z_0, r_0), (z_1, r_1), \dots, (z_H, r_H) }[/math]，

其中[math]\displaystyle{ z_H }[/math]为轨迹末状态，可以为每个中间潜在状态构造目标价值[math]\displaystyle{ R_t^\lambda }[/math]。
λ-return的基本思路是对不同步长[math]\displaystyle{ n }[/math]的回报进行加权平均，定义为：

[math]\displaystyle{ R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n}) }[/math]，

式中，[math]\displaystyle{ \gamma }[/math]是折扣因子，[math]\displaystyle{ r_t }[/math]是每个时刻的奖励。并在[math]\displaystyle{ n }[/math]趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计[math]\displaystyle{ v_\psi(z_H) }[/math]近似未来无穷远回报，从而为每个状态提供全局价值估计。

随后，价值网络通过最小化以下均方误差损失进行训练：[math]\displaystyle{ \frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2 }[/math]。
为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：

1. 终止状态折扣修正：对于预测为终止的状态，Dreamer根据折扣因子[math]\displaystyle{ \gamma_t }[/math]，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按[math]\displaystyle{ \gamma_t }[/math]的乘积因子递减，避免无意义误差影响训练。
2. 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：[math]\displaystyle{ \text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|) }[/math]。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。
3. 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。
   

策略网络的训练与优化

在Dreamer框架中，策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。策略的训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。在一条想象轨迹中，策略网络希望在每一个潜在状态[math]\displaystyle{ z_t }[/math]选择动作，使得后继状态的价值[math]\displaystyle{ v_\psi(z_{t+1}) }[/math]最大化。换言之，策略优化的目标可以简化为在每一步最大化[math]\displaystyle{ v_\psi(z_t) }[/math]，因此常通过最小化负的价值估计[math]\displaystyle{ -v_\psi(z_t) }[/math]来训练。
Dreamer采用策略梯度（policy gradient）方法来优化这一目标。由于世界模型提供了可微分的潜在空间动力系统，Dreamer能够直接在潜在轨迹上进行梯度计算，实现高效的策略更新。
策略梯度计算与损失构建
在训练过程中，策略网络根据当前潜在状态[math]\displaystyle{ z_t }[/math]输出动作分布[math]\displaystyle{ \pi_\theta(a_t|z_t) }[/math]，并通过采样获得动作[math]\displaystyle{ a_t }[/math]，一般来说，[math]\displaystyle{ a_t \sim \mathcal{N}(\mu_\phi(s_t), \sigma_\phi(s_t)) }[/math]。RSSM根据[math]\displaystyle{ a_t }[/math]与[math]\displaystyle{ z_t }[/math]生成下一个潜在状态[math]\displaystyle{ z_{t+1} }[/math]，并由价值网络估计[math]\displaystyle{ v_\psi(z_{t+1}) }[/math]。

为了统一适配连续与离散动作环境，Dreamer在想象轨迹中使用REINFORCE策略梯度近似目标：

[math]\displaystyle{ \nabla_\theta J \approx \mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \nabla_\theta \log \pi_\theta(a_t|z_t)\right] }[/math]。

其中，[math]\displaystyle{ R_t^\lambda }[/math]是基于λ-return构建的多步累计回报，[math]\displaystyle{ v_\psi(z_t) }[/math]为价值网络提供的基线，二者之差作为优势估计（advantage），用于减少策略梯度估计的方差。

策略网络的整体损失函数定义为：

[math]\displaystyle{ L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right] }[/math]。

其中，第一项是基于优势的策略梯度项，第二项是熵正则项（[math]\displaystyle{ \eta }[/math]为熵系数），用于鼓励策略的随机性与探索。
鲁棒回报归一化
为了进一步提升训练稳定性，Dreamer引入了鲁棒回报归一化（robust return normalization）机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有[math]\displaystyle{ R_t^\lambda }[/math]，取第5百分位[math]\displaystyle{ P_5 }[/math]与第95百分位[math]\displaystyle{ P_{95} }[/math]，定义有效范围：[math]\displaystyle{ S = P_{95} - P_5 }[/math]。并对[math]\displaystyle{ S }[/math]进行指数滑动平均平滑处理。归一化优势的计算公式为：[math]\displaystyle{ \text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)} }[/math]。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项[math]\displaystyle{ \eta H(\pi) }[/math]的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如[math]\displaystyle{ \eta = 3 \times 10^{-4} }[/math]），无需根据任务单独调整。
世界模型冻结策略
为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。

---

不同版本对比

特征/版本	PlaNet (ICLR 2019)	DreamerV1 (NeurIPS 2019)	DreamerV2 (ICLR 2021)	DreamerV3 (Nature 2025)
发表年份	2019	2019	2021	2025
核心目标	图像输入下的基于学习的强化学习	首个在图像输入下的纯策略梯度 world model 方法	提高稳定性与泛化能力	通用强化学习，适用于离散和连续任务
模型架构	Recurrent State Space Model (RSSM)	RSSM + actor-critic	RSSM + value target bootstrap	RSSM + 任务自适应正则化 + 离散/连续统一策略学习
状态建模	Stochastic + deterministic（混合）	相同	相同	更深层次的层级结构建模，更丰富的隐状态表示
训练策略	离线训练 + CEM规划器	在线训练 + actor-critic（Dreamer-style）	支持多步bootstrap目标的actor-critic	端到端训练 + 强泛化策略更新机制
策略更新	无策略梯度（使用CEM）	使用actor-critic策略梯度（REINFORCE）	使用更稳定的价值目标进行策略训练	基于世界模型自适应建模难度，自适应权重的actor-critic
奖励函数	外部给定	相同	相同	同样使用外部奖励 + 任务适应目标
优化目标	重构观测 + reward + KL正则	同PlaNet + 策略期望回报	引入V-trace类似的bootstrap目标	引入任务适应的正则化目标函数 + 模型泛化指标
适用环境	主要是连续控制任务（如DeepMind Control）	同PlaNet	更强泛化，支持长时序推理	支持离散与连续任务（Atari, DMC, Crafter等）
性能表现	略优于model-free baseline（如A3C）	显著优于PlaNet和PPO等在视觉任务中	在DMC benchmark中接近SOTA	广泛任务上超过MuZero、DreamerV2、model-free baselines
代码实现	TensorFlow（原始实现）	TensorFlow	TensorFlow / JAX（后期有JAX版本）	官方提供JAX+Haiku实现，兼容大规模训练
代表性贡献	提出RSSM + CEM计划器	引入策略梯度世界模型训练范式（Dreamer-style）	稳定性与性能并重，改进价值训练方式	通用可扩展世界模型，支持Zero-Shot泛化与离散任务

关键改进

• PlaNet → DreamerV1：
  • 最大的转变是从planning-based (CEM) 切换为actor-critic based 策略学习。
  • 支持端到端强化学习更新，训练效率更高。
• DreamerV1 → DreamerV2：
  • 引入了更稳定的value bootstrap目标，缓解了价值训练过程中的variance问题。
  • 训练更加稳定，在长时序任务上性能显著提升。
• DreamerV2 → DreamerV3：
  • 通用性增强，支持离散动作空间，显著扩展适用范围（如Atari游戏）。
  • 引入任务自适应正则化（task-adaptive regularization），提升跨任务泛化能力。
  • 世界模型结构更深层次，引入更强的隐状态表达能力。

---

应用与性能

在Mujoco、Atari、DMC等环境下的表现

DreamerV2

DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。

Atari 游戏性能，引自

2 亿步时的Atari游戏性能。 引自

2 亿步时的Atari游戏性能。引自

DreamerV3

在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。

DreamerV3 在多个基准环境中的平均得分表现。 引自

图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。

与SAC、TD3、PPO等方法的对比

DreamerV3

在各类任务环境中，DreamerV3 始终显著优于典型的模型无关深度强化学习算法。

在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。
在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。
在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。
在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。
在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。
此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。

在高维视觉输入上的优势

DreamerV3

DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如 DrQ-v2 和 CURL，取得更高分数。
在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的 PPO 派生算法（PPG）相当的表现，并显著优于 Rainbow 等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。
更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。
凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。
总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。

DreamerV3 在视觉输入中的表征学习与前瞻性规划能力示例图。引自

其他应用

DreamerV2：消融研究

在探索DreamerV2算法卓越性能的成因时，研究人员开展了全面深入的消融研究。消融研究作为一种常用且有效的分析手段，通过系统地去除、改变模型中的特定组件，来精准观测这些调整对模型整体性能的影响，进而挖掘出模型中各个要素的重要性和作用机制。

在对DreamerV2的消融研究中，主要围绕几个关键部分展开。

在潜在变量的研究上，着重对比了DreamerV2所采用的分类潜在变量和DreamerV1运用的高斯潜在变量。大量实验结果表明，分类潜在变量在众多任务中展现出明显优势，在42个任务上的表现超越了高斯潜在变量。进一步探究发现，这可能得益于多个因素：从概率分布特性来看，分类先验能够完美适配聚合后的后验分布，而高斯先验在面对混合高斯后验时则难以匹配，这使得分类潜在变量在预测图像间复杂的多模态变化时更具优势；从数据表示角度，由分类潜在变量向量生成的稀疏性结构，有助于提升模型的泛化能力，其展平后的稀疏二进制向量在信息表达上更为高效；在优化难度方面，分类变量或许更容易进行优化，直通梯度估计器的特性减少了可能导致梯度异常的因素；在任务适配性上，分类变量更契合Atari游戏中诸如场景切换、物体出现或消失等非平滑变化的建模需求。

KL平衡也是本次消融研究的重点内容。研究结果显示，KL平衡在大部分任务（44个）中，表现优于标准的KL正则化方式。这一技术的核心价值在于，它能够引导世界模型学习到更为准确的先验动力学。在策略优化过程中，通过对先验交叉熵和后验熵的合理调整，鼓励模型朝着改进先验动力学、使其更接近真实后验的方向进行优化，从而为模型性能的提升奠定坚实基础。

模型梯度在DreamerV2的运行机制中扮演着关键角色。其中，图像梯度对于世界模型的正常运作至关重要，当停止图像梯度的输入时，大部分（51个）任务的性能出现了明显下降。这一现象充分证明，DreamerV2的世界模型高度依赖高维图像所提供的学习信号来构建对环境的有效认知。而对于奖励梯度，研究发现停止其输入后，在15个任务上性能有所提升，在22个任务上有所下降，还有18个任务持平。这一结果表明，不专门针对过往奖励进行预测学习的模型表示，在面对未曾经历的新情况时，可能具备更好的泛化性能，能够更灵活地应对不同场景。

在策略梯度的研究中，发现DreamerV2在学习策略时主要依赖强化梯度。虽然混合强化梯度和直通梯度在诸如《 James Bond》和《Seaquest》等个别游戏中，能够显著提升成绩，但单独使用直通梯度进行策略优化时，效果却不尽如人意，在44个任务中表现不佳。这主要是因为直通梯度本身存在一定偏差，无法像强化梯度那样为策略学习提供稳定且有效的引导。

综上所述，这些消融研究全面且细致地揭示了离散潜在变量、KL平衡、图像梯度和强化梯度等因素，在DreamerV2实现卓越性能过程中所发挥的不可或缺的作用。它们不仅为深入理解DreamerV2算法的内在机制提供了关键线索，也为后续对该算法的进一步优化和改进指明了方向，具有重要的理论和实践意义。

DreamerV2 智能体各种消融实验的裁剪记录归一化分数。引自

通过 2 亿帧时的Atari性能对 DreamerV2 进行的消融实验，按最后一列排序。引自

DreamerV3：BSuite 和 Minecraft 等拓展任务性能

除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind BSuite 基准测试中（涵盖23个环境共468种配置），DreamerV3 再次取得了新的总体最优成绩，超越了此前表现最好的方法，如 Bootstrapped DQN 和 Muesli。尤其在奖励尺度变化显著的子任务上，DreamerV3 的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。
在 Crafter 环境中（一个像素风格的开放世界生存游戏），DreamerV3 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的 PPO、OC-SA 探索方法、DreamerV2 及 Rainbow DQN 等），DreamerV3 实现了更高的平均得分和任务完成度，成为该环境下的新状态-of-the-art。这一结果显示，DreamerV3 所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。
最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3 在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约 1 亿步时，多数运行均能稳定获取钻石。论文报告显示，在 40 个不同随机种子的实验中，有 24 个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。
综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。

DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。引自

上图中横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约 12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。

---

影响与发展

Dreamer 系列框架作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了基于模型强化学习（MBRL）的应用边界。

对后续研究的启发

Dreamer 系列提出的关键思想——在潜在空间中建模环境动态并进行策略优化，为后续研究提供了可扩展且高效的范式。在 Dreamer 的基础上，一系列工作相继发展：

• DayDreamer（2023） 将 Dreamer 的策略迁移能力扩展到现实机器人系统中，实现在现实世界中低样本效率下的持续学习与控制，标志着世界模型从模拟器走向真实物理环境的一大步。
• World Models + LLM（2023-2025）：近年来，研究者尝试将大型语言模型（LLM）与世界模型结合，构建能够进行语言理解、因果推理和行动规划的多模态智能体。例如，将 Dreamer 的潜在空间表示与 LLM 的推理能力对接，使智能体不仅能够理解图像中的物理动态，还能通过语言进行任务解释与目标设定，开启了世界模型与通用语言智能协同发展的新范式。
• 此外，Dreamer 框架也被广泛用于多智能体系统、元学习、自监督强化学习等方向，成为构建可解释、具备抽象理解能力的智能体核心模块。

世界模型在通用人工智能（AGI）中的作用展望

从认知科学角度看，人类智能的形成离不开对世界的建模与模拟。在这一意义上，世界模型为构建具备“内在模拟能力”的通用智能体提供了关键路径。Dreamer 系列的成功表明，智能体能够仅凭环境交互数据，在潜在空间中构建出具备预测、规划与决策能力的内部模型，这种能力在实现 AGI 的多个核心方面具有深远意义：

• 抽象理解与因果推理：通过学习世界的潜在状态转换规律，世界模型有望掌握环境背后的因果结构，从而实现高阶认知与可解释性推理。
• 跨任务泛化与迁移能力：在潜在空间中建模的特征具有任务无关性，使得训练得到的世界模型能够在多任务甚至多模态场景中迁移使用，是实现通用学习的基础。
• 与语言、记忆系统融合：世界模型与 LLM、多模态记忆系统结合后，有望构建出既能“看”又能“思考”的认知智能体，支撑对现实世界的长时推理与复杂任务执行。
• 自主性与内在动机：通过世界模型，智能体能够自主进行“梦境”式模拟、预测未来状态、评估行动结果，具备类人类的自主探索与内在驱动机制。

因此，可以预见，随着 Dreamer 系列方法在表达能力、训练稳定性和可解释性方面的进一步提升，世界模型将逐渐成为构建通用人工智能（AGI）系统不可或缺的基础模块。

---

参考文献与外部链接

	原始论文链接	开源代码仓库	相关资料及解读
DreamerV1	DreamerV1论文链接	DreamerV1 tensorflow版本	DreamerV1项目相关资料及解读
DreamerV2	DreamerV2论文链接	DreamerV2 tensorflow版本	DreamerV2项目相关资料及解读
DreamerV3	DreamerV3论文链接	DreamerV3 tensorflow版本 DreamerV3 pytorch复现版本	DreamerV3项目相关资料及解读

此词条由潘琳莉、程嘉编写。

本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。