761
个编辑
更改
跳到导航
跳到搜索
第40行：
第40行： + − PlaNet的实验证实，如果模型仅依赖纯确定性路径（仅使用hₜ）或仅使用纯随机潜变量（仅使用sₜ），在多步未来预测和规划任务中的性能都会显著下降。只有通过将确定性记忆机制与随机建模能力相结合，RSSM才能在潜在空间中进行准确且稳定的长时序推理，支撑智能体基于想象（imagination-based）进行高效决策。这一发现奠定了后续Dreamer系列（如DreamerV1、V2和V3）进一步优化潜在动力学建模的基础，并成为现代基于潜在空间世界模型（latent world models）强化学习算法的核心设计原则。+ +
→3. Dreamer框架原理
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
1. 确定性路径（<math>h_t</math>）：**通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
1. 确定性路径（<math>h_t</math>）：**通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
2. 随机路径（<math>s_t</math>）：**引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。
2. 随机路径（<math>s_t</math>）：**引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。