761
个编辑
更改
→潜在动力学模型（Latent Dynamics Model）
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
'''状态转移模型'''： <math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。
'''动力学预测模型'''：采样规则为： <math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。
'''编码器（后验估计）模型'''：<math>s_t \sim q_\phi(s_t \mid h_t, x_t)</math>。给定真实观测<math>x_t</math>，编码器推断<math>s_t</math>的后验分布。训练时通过重构损失和KL散度正则化校正先验预测。
'''观测解码器模型'''： <math>\hat{x}t \sim p\phi(x_t \mid h_t, s_t)</math>。从<math>h_t</math>与<math>s_t</math>解码出<math>x_t</math>，通过最大化观测似然或最小化重构误差进行训练。
'''奖励预测模型'''：<math>\hat{r}t \sim p\phi(r_t \mid h_t, s_t)</math>。用以在潜在空间中预测奖励，辅助世界模型训练，并为策略优化提供模拟反馈。
'''继续标志（终止预测）模型'''：<math>\hat{c}t \sim p\phi(c_t \mid h_t, s_t)</math>。预测episode是否终止（<math>c_t \in {0,1}</math>），即预测折扣因子<math>\gamma_t</math>。DreamerV2起引入此机制，以在想象轨迹中判定何时停止推理。
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
**'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。 总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。
**'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。 总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。
=== '''3.2 训练过程''' ===
==='''3.2 训练过程'''===
DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。
DreamerV1是一种强化学习方法，通过学习一个紧凑的'''潜在世界模型（世界模型，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。
==== 表征学习阶段 ====
====表征学习阶段====
在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。
在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。
在表征学习阶段，DreamerV1训练了三个关键部分：
在表征学习阶段，DreamerV1训练了三个关键部分：
* '''表征模型（Representation Model）'''：
*'''表征模型（Representation Model）'''：
它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：
它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：
<math>q(s_t \mid s_{t-1}, a_{t-1}) </math>
<math>q(s_t \mid s_{t-1}, a_{t-1}) </math>
* '''奖励模型（Reward Model）'''：
*'''奖励模型（Reward Model）'''：
奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：
奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：
[[文件:1-3.png|无框|600x600像素]]
[[文件:1-3.png|无框|600x600像素]]
==== 基于潜在空间的Rollout与策略优化 ====
====基于潜在空间的Rollout与策略优化====
当表征学习阶段完成后，DreamerV1就能够在潜在空间中进行“想象”，并基于这种想象进行策略学习。这个阶段的核心任务是通过'''Rollout（想象轨迹）来优化策略，具体来说，就是通过价值估计'''来优化策略，使得智能体可以在潜在空间中学到解决长期任务的策略。
当表征学习阶段完成后，DreamerV1就能够在潜在空间中进行“想象”，并基于这种想象进行策略学习。这个阶段的核心任务是通过'''Rollout（想象轨迹）来优化策略，具体来说，就是通过价值估计'''来优化策略，使得智能体可以在潜在空间中学到解决长期任务的策略。
通过反向传播，DreamerV1会利用梯度信息来更新策略网络和价值网络，从而确保在想象空间中的策略能够最大化预期的累积奖励。
通过反向传播，DreamerV1会利用梯度信息来更新策略网络和价值网络，从而确保在想象空间中的策略能够最大化预期的累积奖励。
==== 重参数技巧与ELBO目标函数 ====
====重参数技巧与ELBO目标函数====
在进行策略优化时，DreamerV1使用了重参数化技巧，将随机性引入可微分的路径中，从而使得梯度能够流畅地通过网络，优化潜在状态和策略网络。
在进行策略优化时，DreamerV1使用了重参数化技巧，将随机性引入可微分的路径中，从而使得梯度能够流畅地通过网络，优化潜在状态和策略网络。
这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。
这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。
=== '''3.3 规划与决策机制''' ===
==='''3.3 规划与决策机制'''===
==== 潜在空间中的imagined trajectory ====
====潜在空间中的imagined trajectory====
==== 使用MPC或policy gradient进行action selection ====
====使用MPC或policy gradient进行action selection====
----
----
=== '''4. 不同版本对比''' ===
==='''4. 不同版本对比'''===
* Planet
*Planet
* DreamerV1（NeurIPS 2019）
*DreamerV1（NeurIPS 2019）
* DreamerV2（ICLR 2021）
*DreamerV2（ICLR 2021）
* DreamerV3（2023）
*DreamerV3（2023）
* 主要改进点和性能比较
*主要改进点和性能比较
----
----
=== '''5. 应用与性能''' ===
==='''5. 应用与性能'''===
* 在Mujoco、Atari、DMC等环境下的表现
*在Mujoco、Atari、DMC等环境下的表现
* 与SAC、TD3、PPO等方法的对比
*与SAC、TD3、PPO等方法的对比
* 在高维视觉输入上的优势
*在高维视觉输入上的优势
* 其他应用
*其他应用
----
----
=== '''6. 框架实现''' ===
==='''6. 框架实现'''===
* 常用开源实现（如官方Dreamer GitHub仓库）
*常用开源实现（如官方Dreamer GitHub仓库）
* 可视化与调试工具支持
*可视化与调试工具支持
* TensorFlow与PyTorch的兼容情况
*TensorFlow与PyTorch的兼容情况
----
----
=== '''7. 影响与发展''' ===
==='''7. 影响与发展'''===
* 对后续研究的启发（如DreamerV3、World Model + LLM等）
*对后续研究的启发（如DreamerV3、World Model + LLM等）
* 世界模型在通用人工智能中的作用展望
*世界模型在通用人工智能中的作用展望
* 与MoPA、Model-Based RL融合趋势
*与MoPA、Model-Based RL融合趋势
----
----
=== '''8. 参考文献与外部链接''' ===
==='''8. 参考文献与外部链接'''===
* 原始论文链接
*原始论文链接
* 开源代码仓库
*开源代码仓库
* 相关综述或解读文章
*相关综述或解读文章