761
个编辑
更改
→3. Dreamer框架原理
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
1. 确定性路径（<math>h_t</math>）：**通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
1. 确定性路径（<math>h_t</math>）：**通过递归网络（如GRU）累积特征，有效建模长期依赖与连贯记忆。
2. 随机路径（<math>s_t</math>）：**引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。
2. 随机路径（<math>s_t</math>）：**引入建模灵活性，表达环境随机性、观测噪声与局部不可预测性。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。
*'''多步预测与潜在轨迹训练'''：由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即每一步重构观测并施加一次KL正则化——本质上只对单步转移进行了直接优化，使得梯度仅感知到单步预测误差。这种训练方式可能导致模型在单步预测上表现良好，但在多步滚动预测过程中，预测误差逐步累积，从而削弱长期推理与规划能力。为了解决这一问题，PlaNet提出了潜在超前（latent overshooting）的多步变分训练目标。其核心思想是，不仅对一步转移（即先验分布 p(sₜ | sₜ₋₁, aₜ₋₁) 与后验分布 q(sₜ | hₜ, xₜ)）施加KL约束，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型在时刻 t-2 起始，仅基于先验动态连续预测出 ŝₜ₋₁ 和 ŝₜ，然后将预测得到的 ŝₜ 与真实后验 q(sₜ | o≤ₜ)进行KL正则化，从而训练模型在连续转移过程中的准确性。一般而言，对于超前 d 步的overshooting，训练目标中增加了如下KL项：KL[q(s<sub>t</sub>|o<sub>≤t</sub>)||p(sₜ | s<sub>t-d:t-1</sub>)]。其中，p(sₜ | s<sub>t-d:t-1</sub>)表示仅依靠先验连续转移预测出的状态分布，q(sₜ | o≤ₜ)为基于真实观测的后验分布（具体推导见PlaNet附录）。 通过这种overshooting策略，RSSM的随机状态转移机制能够接收到多步序列的训练信号，梯度能够沿连续多步的预测链条反向传播，从而显著提升模型在长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting策略在提升基于潜在模型的规划性能方面的有效性。Dreamer系列模型在此基础上进一步发展：DreamerV1沿用了PlaNet提出的RSSM训练机制，并在连续控制任务中系统性地验证了世界模型方法的可行性；DreamerV2和V3虽然在论文中未专门强调overshooting，但在模型训练过程中同样高度重视长时预测的能力，从而保证了对远期奖励与未来结果的准确建模。