更改

==世界模型训练过程==

==世界模型训练过程==

[[世界模型]]的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种[[强化学习]]方法，通过学习一个紧凑的'''潜在世界模型（[[世界模型]]，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

[[世界模型]]的训练过程每个版本略有不同，在此部分，以DreamerV1为例。DreamerV1是一种[[强化学习]]方法，通过学习一个紧凑的'''潜在世界模型（[[世界模型]]，World model）'''，将高维图像输入编码为低维潜在状态，并根据状态预测下一个状态和奖励，从而高效地从图像输入中解决长期目标的任务。其训练过程可以分为多个阶段，每个阶段都有其关键的任务和目标。

===[[表征学习]]阶段===

===[[表征学习]]阶段===

在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。

在训练初期，DreamerV1需要学会从环境中收集的数据中提取出“有用的信息”，即通过一套神经网络将图像、动作以及环境奖励编码成一个较低维度的潜在空间。这个阶段的目标是学习一个世界模型，能够预测智能体在未来的状态和获得的奖励。这个过程是整个系统的基础，因为它为后续的策略优化和长远行为规划提供了所需的潜在表示。

在[[表征学习]]阶段，DreamerV1训练了三个关键部分：

在[[表征学习]]阶段，DreamerV1训练了三个关键部分：

*'''表征模型（Representation Model）'''：<br>它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：<br> <math>p(s_t \mid s_{t-1}, a_{t-1}, o_t)  </math> <br>其中，<math>o_t </math>是当前的观察，<math>s_t </math>是历史的潜在状态，<math>a_{t-1} </math>是动作，<math>s_t </math>是当前时刻的潜在状态。

*'''表征模型（Representation Model）'''：<br>它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：<br> <math>p(s_t \mid s_{t-1}, a_{t-1}, o_t)  </math> <br>其中，<math>o_t </math>是当前的观察，<math>s_t </math>是历史的潜在状态，<math>a_{t-1} </math>是动作，<math>s_t </math>是当前时刻的潜在状态。

[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]

[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。

===重参数技巧与ELBO目标函数===

===重参数技巧与ELBO目标函数===

这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。

这一变分目标与使用重参数化技巧相结合，使得潜在动力学模型和策略能够端到端地被深度神经网络优化。

==规划与决策机制==

==规划与决策机制==

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。

在完成潜在动态模型的训练之后，智能体便具备了在潜在空间中进行前瞻性思考的能力——即在不依赖真实环境交互的前提下，基于当前潜在状态，利用训练好的世界模型模拟未来的状态演化与奖赏反馈。这一“想象能力”（imagination）是 Dreamer 系列算法的关键特征，也是在 PlaNet 等先导方法中首次系统化提出的。在此框架下，策略优化不再受限于真实数据的收集速度与环境延迟，而是可以在紧凑、高效的潜在空间中进行大规模并行 roll-out。这些 imagined trajectories 捕捉了模型关于未来状态—奖赏序列的预测，从而为智能体提供了丰富的“内省式”经验用于指导行为选择。接下来的部分将介绍 PlaNet 如何利用潜在空间生成高效的 imagined trajectories，并在此基础上，通过模型预测控制（MPC）或策略梯度等方式，完成对实际动作的选择与优化<ref name=":3">HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>。