更改

Dreamer (查看源代码)

2025年7月20日 (日) 18:57的版本

添加20字节、 2025年7月20日 (日) 18:57

第17行：第17行：

[[世界模型]]为智能体提供可微的“内心沙盒”，使其能够在抽象潜在空间中重建并演化环境，减少对高风险真实交互的依赖。框架由编码器、解码器和潜在动力学模型协同构成。编码器用卷积网络等将高维观测压缩成信息充足的潜在状态，解码器再把潜在表示还原为可观测信号，用于校验想象世界并反向传播误差，潜在动力学模型依据当前潜在状态与动作预测下一潜在状态及奖励，并显式刻画环境的不确定性。整条闭环既大幅压缩计算开销，又在潜在空间保留关键因果结构。训练阶段交替执行两步。第一步在真实轨迹上同时最小化观测重建误差与一步预测误差，以塑造具有任务判别力的潜在表征；第二步让模型在自身生成的多步“想象”里优化变分下界或信息瓶颈正则，迫使动力学网络捕捉长期规律。

−

+

PlaNet 率先验证了该思路，而 Dreamer V1 至 V3 通过离散随机潜变量、对抗式奖励预测和深层自监督进一步提升了样本效率与稳定性。Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。

−

PlaNet 率先验证了该思路，而 Dreamer V1 至 V3 通过离散随机潜变量、对抗式奖励预测和深层自监督进一步提升了样本效率与稳定性。Dreamer 系列自最早的 PlaNet 提出后，研究者持续在模型结构、规划效率和训练鲁棒性方面迭代，逐步形成 Dreamer V1、V2、V3 等版本。每一代框架在继承“重构观测数据并在潜在空间建模环境动态”这一核心理念的基础上，引入更先进的推理网络、归纳偏置和优化策略，显著增强了基于模型的强化学习在高维视觉控制、棋类对弈以及复杂机器人任务中的表现力与泛化能力，但始终以 RSSM 为骨架，在潜在空间刻画环境的时序结构和潜在因果机制。决策阶段采用“想象加评估”的范式。代理先将当前观测编码为潜在状态，在模型内部并行生成大量虚拟轨迹并累计预测回报，然后使用交叉熵法、演化搜索或可微梯度从中选出价值最高的动作序列，从而获得前瞻规划能力与不确定性评估。Dreamer 的关键突破在于把这些想象轨迹当作伪经验，用于离线训练策略网络与价值网络。两者在潜在空间通过 Actor Critic 框架协同优化，实现实时控制与高效学习，使 Dreamer 系列在 Atari、MuJoCo 等基准上超越无模型算法，并提供可解释的规划路径和风险分析，为统一模型化与策略学习奠定了范式。

[[文件:World model.png|替代=|无|缩略图|600x400像素|Dreamer框架原理示意图。引自<ref name=":6" />]]

第39行：第38行：

*'''潜在表示的先验与后验分布选择'''：在Dreamer框架中，世界模型为每个潜在变量指定先验分布<math>p_\theta(z_t|h_t)</math>与后验分布<math>q_\phi(z_t|h_t, x_t)</math>。其中：先验分布描述在缺乏真实观测<math>x_t</math>时，模型基于确定性隐状态<math>h_t</math>对下一个潜在状态的预测；后验分布则是在观察到<math>x_t</math>后，对潜在状态<math>z_t</math>的推断。当使用连续高斯潜变量时，先验和后验均建模为对角高斯分布；当使用离散潜变量时，则为多分类分布，如独热向量的离散采样表示。训练过程中，通过最大化变分下界（ELBO）联合优化编码器与解码器参数，目标包含：重构对数似然（观测、奖励、终止标志）；潜在变量先验-后验之间的KL正则项。重构损失<math>L_{\text{pred}}</math>通常由以下部分组成：观测重建误差（<math>-\ln p_\theta(x_t|h_t,z_t)</math>）；奖励预测误差（<math>-\ln p_\theta(r_t|h_t,z_t)</math>）；终止信号预测误差。同时，引入KL正则项：<math>D_{\text{KL}}(q_\phi(z_t|h_t,x_t) \parallel p_\theta(z_t|h_t))</math>，以约束编码器后验接近动力学先验，防止编码器提取过多无关信息，提升潜在表示的可预测性与泛化能力。整体训练目标可表示为：<math>L = \mathbb{E}{q\phi} \left[ \sum_t \left( L_{\text{pred},t} + L_{\text{KL},t} \right) \right]</math>。

+

=== 潜在动力学模型（Latent Dynamics Model） ===

−

PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：

+

PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：

#

# '''状态转移模型'''： <math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。

第56行：第56行： −

RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：

+

RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：

#

# 确定性路径（<math>h_t</math>）：通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。

第70行：第70行：

*'''RSSM架构的改进与增强'''： 在DreamerV3中，针对RSSM的模型架构进行了多项重要增强，旨在提升在不同任务环境下的训练稳定性与整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练过程的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计在扩展隐藏规模的同时，能够显著缓解传统RNN在大规模建模时常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数规模（从数千万到数亿量级），在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模方面，DreamerV3引入了1%均匀混合（unimix）策略，即将分类先验分布与均匀分布按99:1的比例进行线性混合。这一策略相当于在先验输出中注入了极小的平滑项，有效防止了预测概率在训练早期快速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少了陷入局部极值或不稳定优化轨迹的风险。通过这些架构和正则化细节的系统性优化，DreamerV3的世界模型能够在多种不同环境中实现稳定训练——从像素级离散控制任务（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更为重要的是，这种稳健性使得模型在不同任务间几乎无需针对性微调超参数配置，展现出出色的泛化能力与工程实用性。

+

==世界模型训练过程==

[[世界模型]]的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种[[强化学习]]方法，通过学习一个紧凑的'''潜在世界模型（[[世界模型]]，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

−

===[[表征学习]]阶段===

在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。

−

+

在[[表征学习]]阶段，DreamerV1训练了三个关键部分：

−

在[[表征学习]]阶段，DreamerV1训练了三个关键部分：

*'''表征模型（Representation Model）'''： 它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为： <math>p(s_t \mid s_{t-1}, a_{t-1}, o_t) </math> 其中，<math>o_t </math>是当前的观察，<math>s_t </math>是历史的潜在状态，<math>a_{t-1} </math>是动作，<math>s_t </math>是当前时刻的潜在状态。

第86行：第86行：

*'''奖励模型（Reward Model）'''： 奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为： <math>q(r_t \mid s_t) </math> 式中，<math>r_t </math>表示奖励。

−

+

表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：

−

表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：

<math>\mathcal{J}_{\text{REC}} \doteq \mathbb{E}_p \left( \sum_{t} \left( \mathcal{J}_{\text{O}}^{t} + \mathcal{J}_{\text{R}}^{t} + \mathcal{J}_{\text{D}}^{t} \right) \right) + \text{const} </math>

第100行：第99行：

[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型。

−

===重参数技巧与ELBO目标函数===

第114行：第112行：

这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。

+

==规划与决策机制==

念

761

个编辑