更改

Dreamer (查看源代码)

2025年6月16日 (一) 19:01的版本

添加594字节、 2025年6月16日 (一) 19:01

增加参考文献

第4行：第4行：

[[世界模型]]（World Models）的研究兴起于对[[强化学习]]中环境建模能力的不断探索，其本质上是'''[[基于模型的强化学习]]（Model-Based Reinforcement Learning, MBRL）'''的一种实现形式。与传统的基于模型方法相同，[[世界模型]]旨在构建一个能够模拟环境动态的内部模型，从而支持智能体在模拟空间中的推理、预测与规划。通过VAE将观测序列编码为潜在状态，再利用[[循环神经网络]]（RNN）建模潜在动力学，预测下一时刻的潜在状态，然后，解码器从下一时刻的潜在状态重构观测并预测即时奖励。相较于[[基于模型的强化学习]]这一更为宽泛的范畴，世界模型更强调通过'''学习潜在空间的紧凑表示'''，构建可预测、可推理的环境内部结构，常与神经网络的生成能力和结构建模相结合。

−

早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

+

早期的 model-based RL 方法以 Sutton 在 1990 年代提出的 '''Dyna 框架'''<ref>Richard S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. SIGART Bull., 2(4):160–163, July 1991. ISSN 0163-5719. doi: 10.1145/122344.122377. URL <nowiki>https://doi.org/10.1145/122344.122377</nowiki>.</ref>为代表，其核心思想是结合模型学习与基于模型的规划，通过学习一个环境模型来辅助策略更新。然而，受限于当时模型建模能力的不足以及高维输入场景中的泛化难题，早期方法在复杂任务中表现有限。

−

2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' 框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。

+

2018 年，Ha 与 Schmidhuber 提出了开创性的 '''[[世界模型|World Models]]''' <ref>HA D, SCHMIDHUBER J. World Models[J/OL]. arXiv.org, 2018. DOI:10.48550/arxiv.1803.10122.</ref>框架，标志着现代神经世界模型研究的起点。该方法利用[[变分自编码器]]（VAE）对高维图像进行压缩编码，再借助 [[循环神经网络|RNN]] 对潜在状态序列建模，并通过一个小型控制器在潜在空间中进行策略学习。这一框架首次展示了'''[[世界模型]]在可视化环境中实现类人行为的可行性与潜力'''。

−

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

+

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref>[1] HAFNER D, LILLICRAP T, FISCHER I, 等. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

−

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''、'''DreamerV2（2021）''' 和 '''DreamerV3（2023）'''。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari ~~游戏中达到了与基于模型无关方法相当甚至更优的性能，表明世界模型已具备强大的泛化能力和策略学习效率。DreamerV3~~ 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''~~，成为世界模型领域迈向主流通用智能路径的重要里程碑。~~

+

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref>Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref>Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref>Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023.</ref>。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明[[世界模型]]已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。

----

第22行：第22行：

*'''编码器'''：在Dreamer框架中，编码器（Encoder）承担着将高维原始观测<math>x_t</math>映射为低维潜在表示<math>z_t</math>的关键任务。其设计不仅要高效提取观测中的关键信息，还需保证潜在表示能够支持环境动力学建模与未来轨迹模拟。Dreamer系列方法通常采用卷积神经网络（CNN）作为编码器的主体结构，主要特点包括：逐层卷积提取图像观测中的局部与全局特征；将输入<math>x_t</math>映射为一组潜在分布参数（如均值、标准差或分类概率）。编码器最终输出的不是一个确定值，而是潜在变量<math>z_t</math>的概率分布参数，以便支持下游的随机采样与不确定性建模。

−

*'''解码器与观测重构'''：解码器（observation model）负责从潜在状态重构原始观测<math>\hat{x}_t</math>。通常，解码器由[[卷积神经网络（CNN）]]的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态<math>h_t</math>和随机成分<math>z_t</math>），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务： 1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模； 2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。 3. ~~DreamerV3进一步在解码器输出中引入了[[symlog变换]]处理：将原空间的像素或向量值应用对称对数压缩变换：~~ <math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。 4. 在symlog空间计算均方误差损失。 这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。 Dreamer根据不同版本引入了两类潜在变量设计： 连续潜变量（PlaNet, DreamerV1）：1. 潜变量<math>z_t</math>建模为多维对角高斯分布；2. 编码器输出每一维的均值<math>\mu_t</math>和标准差<math>\sigma_t</math>；3. 使用**重参数化技巧（reparameterization trick）**进行采样： <math>z_t = \mu_t + \sigma_t \odot \epsilon</math>，其中<math>\epsilon \sim \mathcal{N}(0, I)</math>；4. 保证采样过程可微，支持反向传播训练。 离散潜变量（DreamerV2及之后）：1. 潜变量<math>z_t</math>由多个独立的分类随机变量组成；2. 编码器输出每个分类变量的类别概率分布；3. 每个变量通过从分类分布中采样独热向量（one-hot vector）获得；4. 采样时采用直通梯度（straight-through gradient estimator）。这种离散化设计增强了模型捕捉环境中多模态、离散变化特征的能力，提升了世界模型在复杂动态系统中的建模灵活性。

+

*'''解码器与观测重构'''：解码器（observation model）负责从潜在状态重构原始观测<math>\hat{x}_t</math>。通常，解码器由[[卷积神经网络（CNN）]]的反向结构（如转置卷积）构成，用于将潜在表示还原为观测空间的分布参数。在Dreamer框架中，给定当前潜在状态（包括确定性隐状态<math>h_t</math>和随机成分<math>z_t</math>），解码器输出观测的概率分布，如图像像素的强度分布。具体地，对于图像重建任务： 1. PlaNet和DreamerV1/V2多采用高斯分布或伯努利分布对像素值建模； 2. 优化过程中，分别对应于均方误差（MSE）损失或对数似然损失。 3. DreamerV3进一步在解码器输出中引入了symlog变换处理：将原空间的像素或向量值应用对称对数压缩变换：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。 4. 在symlog空间计算均方误差损失。 这种变换能够在保持小值分辨率的同时压缩极端取值范围，提升了模型在不同尺度环境下的重构稳定性，避免了因大幅度数值变化导致的训练不稳定问题。 Dreamer根据不同版本引入了两类潜在变量设计： 连续潜变量（PlaNet, DreamerV1）：1. 潜变量<math>z_t</math>建模为多维对角高斯分布；2. 编码器输出每一维的均值<math>\mu_t</math>和标准差<math>\sigma_t</math>；3. 使用**重参数化技巧（reparameterization trick）**进行采样： <math>z_t = \mu_t + \sigma_t \odot \epsilon</math>，其中<math>\epsilon \sim \mathcal{N}(0, I)</math>；4. 保证采样过程可微，支持反向传播训练。 离散潜变量（DreamerV2及之后）：1. 潜变量<math>z_t</math>由多个独立的分类随机变量组成；2. 编码器输出每个分类变量的类别概率分布；3. 每个变量通过从分类分布中采样独热向量（one-hot vector）获得；4. 采样时采用直通梯度（straight-through gradient estimator）。这种离散化设计增强了模型捕捉环境中多模态、离散变化特征的能力，提升了世界模型在复杂动态系统中的建模灵活性。

*'''潜在表示的先验与后验分布选择''''：在Dreamer框架中，世界模型为每个潜在变量指定先验分布<math>p_\theta(z_t|h_t)</math>与后验分布<math>q_\phi(z_t|h_t, x_t)</math>。其中：先验分布描述在缺乏真实观测<math>x_t</math>时，模型基于确定性隐状态<math>h_t</math>对下一个潜在状态的预测；后验分布则是在观察到<math>x_t</math>后，对潜在状态<math>z_t</math>的推断。当使用连续高斯潜变量时，先验和后验均建模为对角高斯分布；当使用离散潜变量时，则为多分类分布，如独热向量的离散采样表示。训练过程中，通过最大化变分证据下界（ELBO）联合优化编码器与解码器参数，目标包含：重构对数似然（观测、奖励、终止标志）；潜在变量先验-后验之间的KL正则项。重构损失<math>L_{\text{pred}}</math>通常由以下部分组成：观测重建误差（<math>-\ln p_\theta(x_t|h_t,z_t)</math>）；奖励预测误差（<math>-\ln p_\theta(r_t|h_t,z_t)</math>）；终止信号预测误差。同时，引入KL正则项：<math>D_{\text{KL}}(q_\phi(z_t|h_t,x_t) \parallel p_\theta(z_t|h_t))</math>，以约束编码器后验接近动力学先验，防止编码器提取过多无关信息，提升潜在表示的可预测性与泛化能力。整体训练目标可表示为：<math>L = \mathbb{E}{q\phi} \left[ \sum_t \left( L_{\text{pred},t} + L_{\text{KL},t} \right) \right]</math>。

第48行：第48行：

*'''多步预测与潜在轨迹训练'''：

−

由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列[[变分自编码器（VAE）]]训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了"潜在超前（latent ~~overshooting）”的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布~~<math>p(s_t \mid s_{t-1}, a_{t-1})</math>与后验分布<math>q(s_t \mid h_t, x_t)</math>）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻<math>t-2</math>起，仅基于先验动力学连续预测<math>\hat{s}_{t-1}</math>和<math>\hat{s}_t</math>，然后将预测得到的<math>\hat{s}t</math>与基于真实观测得到的后验<math>q(s_t \mid o{\leq t})</math>进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前<math>d</math>步的overshooting，训练目标中引入了如下KL项：<div align="center"><math>\mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right]</math></div>其中，<math>p(s_t \mid s_{t-d:t-1})</math>表示从<math>t-d</math>到<math>t-1</math>的先验连续预测，<math>q(s_t \mid o_{\leq t})</math>则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性。

+

由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列[[变分自编码器（VAE）]]训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了**潜在超前（latent overshooting）**的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布<math>p(s_t \mid s_{t-1}, a_{t-1})</math>与后验分布<math>q(s_t \mid h_t, x_t)</math>）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻<math>t-2</math>起，仅基于先验动力学连续预测<math>\hat{s}_{t-1}</math>和<math>\hat{s}_t</math>，然后将预测得到的<math>\hat{s}t</math>与基于真实观测得到的后验<math>q(s_t \mid o{\leq t})</math>进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前<math>d</math>步的overshooting，训练目标中引入了如下KL项：<div align="center"><math>\mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right]</math></div>其中，<math>p(s_t \mid s_{t-d:t-1})</math>表示从<math>t-d</math>到<math>t-1</math>的先验连续预测，<math>q(s_t \mid o_{\leq t})</math>则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性。

−

*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测<math>\hat{s}_t</math>与后验推断<math>s_t</math>的一致性，这一目标通常通过引入KL散度损失来实现。然而，在训练中存在一个关键挑战：编码器分布<math>q(s_t \mid h_t, x_t)</math>与动力学先验分布<math>p(s_t \mid h_t)</math>之间可能出现学习速度不匹配或“责任分配”（credit assignment）问题。具体而言，当编码器过于强大时，模型可能倾向于仅依赖后验推断，从而使先验动力学变得无关紧要；反之，若动力学先验过强，则编码器可能无法有效地从观测数据中提取信息。为了应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径以实现平衡。具体做法是：将KL散度分解为两个部分；其中一部分以“停止梯度（stop gradient）”的后验分布为参考，用于更新动力学先验，促使先验动态更好地跟随后验推断；另一部分则以停止梯度的先验分布为参考，用于更新编码器后验，防止后验偏离潜在动态建模。这种双路径更新机制，有效避免了模型在训练过程中过度依赖后验推断的问题，促使动态预测模块与观测编码模块在训练中保持合理协作。在此基础上，DreamerV3进一步引入了自由nats（free nats）的机制，即为KL散度设定一个最小阈值。当实际KL值低于该阈值时，不再继续压缩KL损失，从而防止潜在状态退化为无信息的情况——即虽然动力学先验易于预测，但潜在状态本身携带的信息量极低或接近于零，仅仅是为了最小化KL散度。

+

*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测<math>\hat{s}_t</math>与后验推断<math>s_t</math>的一致性，这一目标通常通过引入KL散度损失来实现。然而，在训练中存在一个关键挑战：编码器分布<math>q(s_t \mid h_t, x_t)</math>与动力学先验分布<math>p(s_t \mid h_t)</math>之间可能出现学习速度不匹配或“责任分配”（credit assignment）问题。具体而言，当编码器过于强大时，模型可能倾向于仅依赖后验推断，从而使先验动力学变得无关紧要；反之，若动力学先验过强，则编码器可能无法有效地从观测数据中提取信息。为了应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径以实现平衡。具体做法是：将KL散度分解为两个部分；其中一部分以**停止梯度（stop gradient）**的后验分布为参考，用于更新动力学先验，促使先验动态更好地跟随后验推断；另一部分则以停止梯度的先验分布为参考，用于更新编码器后验，防止后验偏离潜在动态建模。这种双路径更新机制，有效避免了模型在训练过程中过度依赖后验推断的问题，促使动态预测模块与观测编码模块在训练中保持合理协作。在此基础上，DreamerV3进一步引入了自由nats（free nats）的机制，即为KL散度设定一个最小阈值。当实际KL值低于该阈值时，不再继续压缩KL损失，从而防止潜在状态退化为无信息的情况——即虽然动力学先验易于预测，但潜在状态本身携带的信息量极低或接近于零，仅仅是为了最小化KL散度。

*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

+

==世界模型训练过程==

第112行：第113行：

==规划与决策机制==

−

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined ~~trajectories，并在此基础上，通过[[模型预测控制（MPC）]]或[[策略梯度]]等方式，完成对实际动作的选择与优化。~~

+

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化。

===潜在空间中的imagined trajectory===

−

PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” ~~内省：~~ '''·前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。 '''·并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。 利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。

+

PlaNet 先将高维观测 <math>o_t</math> 经编码器<math>q_\phi!\bigl(s_t \mid o_{\le t}, a_{< t}\bigr)</math>映射为低维潜在状态 <math>s_t = [h_t,,z_t]</math>（确定性递归分量 <math>h_t</math> 与随机分量 <math>z_t</math> 共同构成 RSSM 结点）。在每个决策时刻，算法执行如下“三步式” 内省 roll-out： '''·前向展开（model rollout）'''：从当前 <math>s_0</math> 出发，给定动作序列 <math>\mathbf{a}{0:H-1}</math>，通过转移模型<math>p\theta!\bigl(s_{t+1} \mid s_t, a_t\bigr)</math>并行展开 <math>H</math> 步，预测下一潜在状态、奖励 <math>\hat r_t</math> 与终止概率 <math>\hat d_t</math>，得到完整轨迹<math>\tau = \bigl\{ (s_0, a_0, \hat r_0, \hat d_0), \dots, (s_H, \varnothing, \hat r_H, \hat d_H) \bigr\}</math>。 '''·并行化优势'''：所有运算均在 32–64 维潜在空间完成，无需像素级渲染或物理积分；一次 GPU 前向即可并行生成数万条轨迹，计算复杂度仅与 <math>\text{batch size}\times H</math> 线性相关，可在毫秒级完成。 利用这些 imagined trajectories，PlaNet 在无需显式策略网络的前提下，借助 MPC-CEM 直接在潜在空间搜索最优动作序列，从而实现对视觉控制任务的高效在线规划、数据高利用率以及对环境随机性的鲁棒应对。

===使用MPC或policy gradient进行action selection===

第279行：第280行：

==== DreamerV2 ====

DreamerV2 在 Atari 基准测试中表现出色，超越了多个强大的无模型算法。论文选取了 55 款 Atari 游戏进行实验，遵循特定的评估协议，使用单任务设置且每个代理仅使用单个环境实例。在与 IQN、Rainbow、C51 和 DQN 等无模型算法的对比中，DreamerV2 在所有四种聚合指标（Gamer Median、Gamer Mean、Record Mean、Clipped Record Mean）上均优于这些算法。例如，在 200M 环境步骤时，DreamerV2 的 Clipped Record Mean 得分为 0.28，而 IQN、Rainbow、C51 和 DQN 的该指标得分分别为 0.21、0.17、0.15 和 0.12。在个别游戏上，DreamerV2 在大多数游戏中取得了可比或更高的性能，如在 James Bond、Up N Down 和 Assault 等游戏上相比无模型代理有显著提升，但在 Video Pinball 游戏上表现欠佳，可能是因为世界模型的重建损失未鼓励学习有意义的潜在表示，游戏中最重要的物体 —— 球，仅占一个像素。

−

~~ ~~

+

−

[[文件:3-1.png|无框]]~~ ~~

+

[[文件:3-1.png|无框]]

−

~~图 2：Atari 游戏上的总体性能比较~~

+

[[文件:3-4.png|无框|600x600像素]]

−

~~ ~~

+

−

[[文件:3-4.png|无框|600x600像素]]~~ ~~

+

[[文件:3-T1.png|无框|600x600像素]]

−

~~图 3：四项聚合指标的学习曲线比较~~

−

~~ ~~

−

[[文件:3-T1.png|无框|600x600像素]]~~ ~~

−

~~图 4：各算法在 200M 步骤下的最终得分~~

==== DreamerV3 ====

−

在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。~~ ~~

+

在连续控制任务中（如 MuJoCo 控制基准套件），DreamerV3 在18个低维状态输入任务上取得了当前最优成绩，其平均得分显著超越此前表现领先的 D4PG 和 DMPO 等算法。在50万步交互的数据预算下，DreamerV3 不仅收敛速度更快，最终得分也更高，显示出强大的样本效率和泛化能力。同样地，在20个基于高维图像输入的 DeepMind Control Suite 控制任务中，DreamerV3 建立了新的性能标杆，全面超越了依赖数据增强的先进方法 DrQ-v2 和 CURL。即使在仅有100万步交互的数据限制下，DreamerV3 依然展现出更高的平均得分和更稳定的收敛趋势。在离散控制任务方面，DreamerV3 在 Atari 游戏基准上表现同样优异。在标准的200M帧设置（约5000万环境步）下，其得分中位数达到人类水平的302%，显著高于前一代 DreamerV2 的219%，也优于模型无关的强化学习方法如 Rainbow 和 IQN。此外，在注重数据效率的 Atari 100k 设置（仅40万环境步）中，DreamerV3 超越了 SimPLe、SPR、IRIS 等此前最佳算法，在26个游戏中的平均人类归一化得分中排名前列，仅略低于采用蒙特卡洛树搜索等技术的 EfficientZero。总体而言，DreamerV3 在不依赖任务特定调参的前提下，凭借统一的超参数配置，在涵盖低维与高维输入、连续与离散控制的多种环境中，均实现了更高的平均得分和更快的学习收敛，展现出卓越的通用性与性能上限。 [[File:picture1.png|400px]] 上图展示了 DreamerV3 在多个基准环境中的平均得分表现。图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。

−

[[File:picture1.png|400px]]~~ 图 4：DreamerV3 在多个强化学习基准任务中的综合表现 ~~

−

上图展示了 DreamerV3 在多个基准环境中的平均得分表现。图中横轴对应不同测试环境，纵轴表示任务得分或人类归一化得分。图例中，蓝色柱表示使用统一超参数配置的 DreamerV3，灰色柱代表在各环境中经过精细调参的专家算法，绿色柱则为常用基线方法 PPO。可以看出，DreamerV3 在 Proprio Control（状态输入的连续控制任务）、Visual Control（图像输入的连续控制任务）以及 Atari 100k 和 200M 等典型基准中，均实现了最高的平均得分，全面领先于现有主流方法。

== 与SAC、TD3、PPO等方法的对比 ==

第299行：第294行：

在各类任务环境中，DreamerV3 始终显著优于典型的模型无关深度强化学习算法。

−

在连续控制领域，DreamerV3 ~~超越了SAC~~/TD3风格的多种方法，包括 DeepMind提出的D4PG、DMPO和MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。 在高维视觉输入任务中，DreamerV3 ~~同样领先于依赖数据增强或对比学习的对手，如基于SAC的DrQ~~-~~v2及使用表征学习的CURL。这进一步体现了DreamerV3~~ 在从图像观测中提取潜在动态结构方面的强大能力。 在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow ~~和IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法MuZero，且所需计算资源仅为后者的一小部分。~~ 在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。 ~~在需要高级空间和时间推理能力的DeepMind~~ Lab (DMLab)3D ~~环境中，DreamerV3在仅使用1~~ 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA ~~在10亿帧（1B）下的表现，展现出数量级的样本效率提升。~~ 此外，在所有测试环境中，DreamerV3 ~~相较于PPO表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3依然大幅超越高质量实现的[[~~PPO ~~策略梯度算法]]。这充分表明，DreamerV3不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。~~

+

在连续控制领域，DreamerV3 超越了 SAC/TD3 风格的多种方法，包括 DeepMind 提出的 D4PG、DMPO 和 MPO，在相同的交互步数条件下实现了更高的累计奖励。与这些高度依赖环境特定调参的离线策略算法不同，DreamerV3 采用统一超参数配置即可取得更优表现，展现出良好的泛化能力和可迁移性。 在高维视觉输入任务中，DreamerV3 同样领先于依赖数据增强或对比学习的对手，如基于 SAC 的 DrQ-v2 及使用表征学习的 CURL。这进一步体现了 DreamerV3 在从图像观测中提取潜在动态结构方面的强大能力。 在离散动作空间下，DreamerV3 也取得了显著突破。在 Atari 游戏基准中，其最终得分超越了强化学习领域的经典代表 Rainbow 和 IQN，甚至超过了采用蒙特卡洛树搜索的模型规划方法 MuZero，且所需计算资源仅为后者的一小部分。 在具备程序生成特性和复杂视觉干扰的 ProcGen 基准中，DreamerV3 的整体表现与调参后的 PPG 相当，并略有超出，同时显著优于 Rainbow 等传统方法。 在需要高级空间和时间推理能力的 DeepMind Lab (DMLab) 3D 环境中，DreamerV3 在仅使用 1 亿帧（100M）数据的情况下，就已达到甚至超过 DeepMind 的分布式强化学习算法 IMPALA 在 10 亿帧（1B）下的表现，展现出数量级的样本效率提升。 此外，在所有测试环境中，DreamerV3 相较于 PPO 表现出压倒性优势。即使在不进行任务特定调参的情况下，DreamerV3 依然大幅超越高质量实现的 PPO 策略梯度算法。这充分表明，DreamerV3 不仅在最终得分上具有领先优势，更在数据效率和通用性方面实现了全面超越。

== 在高维视觉输入上的优势 ==

==== DreamerV3 ====

−

DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如[[DrQ-v2]]和~~[[CURL]]，取得更高分数。~~ 在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的[[PPO ~~派生算法（PPG）]]相当的表现，并显著优于[[~~Rainbow]]等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。 更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。 凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。 总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。~~ ~~

+

DreamerV3 在高维像素观测任务中展现出显著优势，能够无需针对图像任务进行特殊调整，便在视觉控制、Atari、ProcGen、DMLab、Minecraft 等典型像素输入环境中取得领先表现。例如，在视觉控制套件中，DreamerV3 凭借统一配置、无任何额外数据增强，便超越了专为图像环境设计的强化学习算法，如 DrQ-v2 和 CURL，取得更高分数。 在具备程序生成关卡的 ProcGen 游戏中，DreamerV3 在仅使用 5000 万帧数据的情况下，便达到与经过调参优化的 PPO 派生算法（PPG）相当的表现，并显著优于 Rainbow 等传统方法。这些结果表明，DreamerV3 在处理高变异性视觉任务时具备出色的泛化能力和鲁棒性。 更为关键的是，DreamerV3 所构建的世界模型能够从高维像素观测中捕捉环境的潜在结构。上图展示了其在 DMLab 迷宫环境（上）与四足机器人任务（下）中的视频预测示例：在仅观察初始5帧真实图像后（True，左侧），模型可基于其内部状态连续预测未来45帧的环境演化（Model，右侧），而无需进一步依赖真实图像输入。结果显示，预测序列与真实轨迹在空间结构和动态变化上高度一致，表明 DreamerV3 能够有效学习3D迷宫的布局规则和机器人运动的动力学特征。 凭借这一结构化世界模型，DreamerV3 能够在需要复杂时空推理的任务中实现高效探索与长时规划。在 DMLab 的30个三维任务中，DreamerV3 仅用 1 亿帧交互数据（100M）即达到并超过 IMPALA 在 10 亿帧（1B）下的表现，实现了超过 10 倍的数据效率提升。 总体而言，DreamerV3 在高维视觉输入环境中展现出强大的表征学习与前瞻性规划能力，显著超越了多数模型无关强化学习算法的能力上限。 [[File:picture2.png|400px]]

−

[[File:picture2.png|400px]]~~ ~~

−

~~图 5：DreamerV3 的视觉预测能力示例 ~~

== 其他应用 ==

第330行：第323行：

==== DreamerV3：BSuite 和 Minecraft 等拓展任务性能 ====

−

除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind ~~BSuite基准测试中（涵盖23个环境共468种配置），DreamerV3再次取得了新的总体最优成绩，超越了此前表现最好的方法，如[[~~Bootstrapped DQN]]和~~[[Muesli]]。尤其在奖励尺度变化显著的子任务上，DreamerV3的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。~~ ~~在Crafter环境中（一个像素风格的开放世界生存游戏），DreamerV3~~ 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的~~[[PPO]]、[[OC~~-SA ~~探索方法]]~~及 [[Rainbow DQN]] 等），DreamerV3实现了更高的平均得分和任务完成度。这一结果显示，DreamerV3所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。 最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约1亿步时，多数运行均能稳定获取钻石。论文报告显示，在40个不同随机种子的实验中，有24个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。 综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。~~ ~~

+

除了在常规基准环境中的优异表现，研究者还系统评估了 DreamerV3 在多个具有挑战性的拓展任务中的性能表现。在 DeepMind BSuite 基准测试中（涵盖23个环境共468种配置），DreamerV3 再次取得了新的总体最优成绩，超越了此前表现最好的方法，如 Bootstrapped DQN 和 Muesli。尤其在奖励尺度变化显著的子任务上，DreamerV3 的表现提升尤为显著，体现出其通过归一化和稳定性增强机制在策略泛化方面的优势。 在 Crafter 环境中（一个像素风格的开放世界生存游戏），DreamerV3 同样刷新了当前最高记录。与强调探索和记忆建模的强化学习算法相比（如基于 LSTM-SPCNN 架构的 PPO、OC-SA 探索方法、DreamerV2 及 Rainbow DQN 等），DreamerV3 实现了更高的平均得分和任务完成度，成为该环境下的新状态-of-the-art。这一结果显示，DreamerV3 所构建的世界模型不仅具备稀疏奖励条件下的策略搜索能力，也在长时间跨度的任务中展现出出色的记忆与规划能力。 最具突破性的成果来自于对复杂3D开放世界游戏 Minecraft 的探索。在该环境中，“获取钻石”被视为强化学习领域极具挑战性的长期目标任务。DreamerV3 是首个无需任何人类演示或预训练即可从零开始成功获取钻石的算法。上图展示了其在训练过程中的回报曲线：黑色线代表单次任务中获得钻石的最高回报（成功挖到钻石后回报陡增），灰色线表示回合平均回报。从图中可以看出，DreamerV3 在大约 3000 万步时首次完成钻石任务，随后完成频率稳步上升，至约 1 亿步时，多数运行均能稳定获取钻石。论文报告显示，在 40 个不同随机种子的实验中，有 24 个至少成功获得过一颗钻石，其中表现最优的代理甚至在第6个回合便成功挖掘出钻石。相比之下，多种强基线方法虽然能够推进至获取铁镐等中级目标，但在相同数据预算下无一能成功获得钻石。 综上所述，DreamerV3 在 BSuite、Crafter 以及 Minecraft 等具代表性的高难度任务中均实现了突破性进展，进一步验证了其无需特定调参即可适应多样环境，并在处理稀疏奖励与长期依赖问题中具备显著优势。 [[File:mycraft.png|400px]] 上图展示了 DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约 12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。

−

[[File:mycraft.png|400px]] ~~图8.~~ DreamerV3 在 Minecraft ~~Diamond 任务中的探索进展 ~~

−

上图展示了DreamerV3 在 Minecraft “获取钻石”任务中的学习曲线。横轴为环境交互步数（采用对数刻度），纵轴表示每个回合的累计奖励，其中包括关键物品获取的进度奖励，成功获得钻石时的单回合得分最高可达约12 分。图中黑色曲线表示训练过程中达到的单回合最高得分，灰色曲线则表示所有回合的平均得分。从图中可以观察到，DreamerV3 随着训练的深入，逐步学习并解锁关键工具链（如木镐、石镐、铁镐），最终成功获得钻石。值得强调的是，DreamerV3 是首个在完全无任何人类演示或专家数据辅助的条件下，从零开始完成“获取钻石”任务的强化学习算法，标志着其在复杂开放世界任务中的探索与规划能力达到新高度。

----

='''影响与发展'''=

−

'''Dreamer 系列框架'''作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了“基于模型强化学习（MBRL）”的应用边界。

+

'''Dreamer 系列框架'''作为近年来世界模型研究中最具代表性的成果之一，不仅在算法性能上取得了显著突破，也在理论架构和实践策略上对后续研究产生了深远影响。自 PlaNet 到 DreamerV1/V2，再到 DreamerV3 在 2025 年发表于《Nature》，这一系列工作不断推动世界模型从图像重构辅助的预测模型演化为具备决策能力和泛化能力的智能代理，极大拓宽了**基于模型强化学习（MBRL）**的应用边界。

==== 1. 对后续研究的启发 ====

第354行：第345行：

* '''自主性与内在动机'''：通过世界模型，智能体能够自主进行“梦境”式模拟、预测未来状态、评估行动结果，具备类人类的自主探索与内在驱动机制。

−

~~因此，可以预见，随着Dreamer系列方法在表达能力、训练稳定性和可解释性方面的进一步提升，~~'''世界模型将逐渐成为构建通用人工智能（AGI）系统不可或缺的基础模块'''。

+

因此，可以预见，随着 Dreamer 系列方法在表达能力、训练稳定性和可解释性方面的进一步提升，'''世界模型将逐渐成为构建通用人工智能（AGI）系统不可或缺的基础模块'''。

----

念

761

个编辑