761
个编辑
更改
跳到导航
跳到搜索
第25行：
第25行： − + − + − + − + − + − + + + + +
无编辑摘要
'''潜在动力学模型（Latent Dynamics Model）'''
'''潜在动力学模型（Latent Dynamics Model）'''
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
*'''状态转移模型'''： <br><math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。
*'''状态转移模型'''： <math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。
*'''动力学预测模型'''：采样规则为： <br><math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。
*'''动力学预测模型'''：采样规则为： <math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。
*'''编码器（后验估计）模型'''：sₜ ~ q₍ᵩ₎(sₜ | hₜ, xₜ)。给定真实观测xₜ，编码器推断当前潜在状态sₜ的后验分布。这相当于在观测到xₜ后对先验预测ŝₜ进行校正。训练时，使用编码器输出的sₜ来计算重构损失，并通过KL散度正则化，使其尽可能接近对应的先验ŝₜ。
*'''编码器（后验估计）模型'''：<math>s_t \sim q_\phi(s_t \mid h_t, x_t)</math>。给定真实观测<math>x_t</math>，编码器推断<math>s_t</math>的后验分布。训练时通过重构损失和KL散度正则化校正先验预测。
*'''观测解码器模型'''：x̂ₜ ~ p₍ᵩ₎(xₜ | hₜ, sₜ)。从当前完整的隐状态（hₜ与sₜ）解码出观测xₜ的分布。这对应于重构观测的过程，训练时通过最大化观测似然或最小化重构误差来优化。
*'''观测解码器模型'''： <math>\hat{x}t \sim p\phi(x_t \mid h_t, s_t)</math>。从<math>h_t</math>与<math>s_t</math>解码出<math>x_t</math>，通过最大化观测似然或最小化重构误差进行训练。
*'''奖励预测模型'''：r̂ₜ ~ p₍ᵩ₎(rₜ | hₜ, sₜ)。从隐状态预测该状态下的环境奖励rₜ。奖励预测分支在训练世界模型时提供辅助信号，并在策略学习阶段模拟奖励，为智能体提供想象中的奖励反馈。
*'''奖励预测模型'''：<math>\hat{r}t \sim p\phi(r_t \mid h_t, s_t)</math>。用以在潜在空间中预测奖励，辅助世界模型训练，并为策略优化提供模拟反馈。
*'''继续标志（终止预测）模型'''：ĉₜ ~ p₍ᵩ₎(cₜ | hₜ, sₜ)。预测当前时间步是否为episode的终止（通常cₜ=0或cₜ=1），或者等价地预测折扣因子γₜ。从DreamerV2起，RSSM加入了显式预测episode结束的机制，用于在想象轨迹中判断何时终止，并相应地调整价值计算。例如，通过预测γₜ作为折扣因子，可以在价值估计与损失函数中，对终止状态给予更低的权重处理，从而更好地建模稀疏终止信号。 循环状态空间模型（RSSM）通过多模块协作，将环境建模为一个部分可观察的马尔可夫过程（Partially Observable Markov Decision Process, POMDP）。在这一建模框架中，确定性隐状态hₜ用于捕捉历史信息的积累，维持跨时间步的连续性；而随机潜变量sₜ则用于建模观测数据中的不确定性与新输入的信息量。这一设计具有重要的理论与实践意义。研究表明，同时具备确定性路径与随机路径对于准确描述复杂环境动态是不可或缺的： 1. 确定性路径（hₜ）**通过递归神经网络（如GRU）累积历史特征，能够有效捕捉长期依赖关系，提供连贯且一致的内部记忆。 2. 随机路径（sₜ）**则引入了状态建模中的灵活性，使得模型能够显式表达环境中的固有随机性、观测噪声和局部不可预测性。 PlaNet的实验证实，如果模型仅依赖纯确定性路径（仅使用hₜ）或仅使用纯随机潜变量（仅使用sₜ），在多步未来预测和规划任务中的性能都会显著下降。只有通过将确定性记忆机制与随机建模能力相结合，RSSM才能在潜在空间中进行准确且稳定的长时序推理，支撑智能体基于想象（imagination-based）进行高效决策。这一发现奠定了后续Dreamer系列（如DreamerV1、V2和V3）进一步优化潜在动力学建模的基础，并成为现代基于潜在空间世界模型（latent world models）强化学习算法的核心设计原则。
*'''继续标志（终止预测）模型'''：<math>\hat{c}t \sim p\phi(c_t \mid h_t, s_t)</math>。预测episode是否终止（<math>c_t \in {0,1}</math>），即预测折扣因子<math>\gamma_t</math>。DreamerV2起引入此机制，以在想象轨迹中判定何时停止推理。
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
1. 确定性路径（<math>h_t</math>）：**通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
2. 随机路径（<math>s_t</math>）：**引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。
PlaNet的实验证实，如果模型仅依赖纯确定性路径（仅使用hₜ）或仅使用纯随机潜变量（仅使用sₜ），在多步未来预测和规划任务中的性能都会显著下降。只有通过将确定性记忆机制与随机建模能力相结合，RSSM才能在潜在空间中进行准确且稳定的长时序推理，支撑智能体基于想象（imagination-based）进行高效决策。这一发现奠定了后续Dreamer系列（如DreamerV1、V2和V3）进一步优化潜在动力学建模的基础，并成为现代基于潜在空间世界模型（latent world models）强化学习算法的核心设计原则。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。