761
个编辑
更改
→潜在动力学模型（Latent Dynamics Model）
*'''多步预测与潜在轨迹训练'''：
*'''多步预测与潜在轨迹训练'''：
由于RSSM需要支持智能体在潜在空间中进行规划与“想象”未来，其多步预测的准确性至关重要。传统的序列变分自编码器（VAE）训练方法——即在每个时间步重构观测并施加一次KL正则化——实际上只直接优化了单步状态转移，使得梯度仅能感知到单步预测误差。这种训练方式虽然在单步预测上效果良好，但在多步滚动预测中，误差易于累积，显著削弱了长期推理与规划的能力。为了解决这一问题，PlaNet提出了**潜在超前（latent overshooting）**的多步变分训练目标。其核心思想是：不仅对单步转移（即先验分布<math>p(s_t \mid s_{t-1}, a_{t-1})</math>与后验分布<math>q(s_t \mid h_t, x_t)</math>）施加KL正则化，还在潜在空间中引入跨越多个时间步的变分监督。以两步超前训练为例，模型从时刻<math>t-2</math>起，仅基于先验动力学连续预测<math>\hat{s}_{t-1}</math>和<math>\hat{s}_t</math>，然后将预测得到的<math>\hat{s}t</math>与基于真实观测得到的后验<math>q(s_t \mid o{\leq t})</math>进行KL正则化，从而优化连续转移过程中的准确性。更一般地，对于超前<math>d</math>步的overshooting，训练目标中引入了如下KL项：<div align="center"><math>\mathrm{KL}\left[q(s_t \mid o_{\leq t}) \, \| \, p(s_t \mid s_{t-d:t-1})\right]</math></div>其中，<math>p(s_t \mid s_{t-d:t-1})</math>表示从<math>t-d</math>到<math>t-1</math>的先验连续预测，<math>q(s_t \mid o_{\leq t})</math>则是基于真实观测的后验分布（具体推导详见PlaNet附录）。通过这种overshooting策略，RSSM的随机状态转移机制能够接收到连续多步的训练信号，梯度得以沿着多步预测链条反向传播，从而显著提升长时间尺度上的预测准确性。PlaNet的实验验证了latent overshooting在提升基于潜在模型的规划性能方面的有效性。基于这一机制，Dreamer系列模型进一步发展：DreamerV1延续了PlaNet提出的RSSM训练框架，并在连续控制任务中系统性地验证了基于潜在空间世界模型的方法可行性；而DreamerV2与V3，尽管在论文中未专门强调latent overshooting，但在训练过程中同样高度重视长时预测的能力，确保了对远期奖励与未来结果的准确建模。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。
*'''KL正则化与平衡技术'''：在RSSM的训练过程中，每一个时间步都需要保持先验预测ŝₜ与后验推断sₜ的一致性，这一目标通常通过引入KL散度损失来实现。然而，训练中面临一个关键挑战：编码器分布 q(sₜ | hₜ, xₜ) 和动力学先验分布 p(sₜ | hₜ) 之间可能存在学习速度不匹配或“责任分配”（credit assignment）问题。如果编码器过于强大，模型可能倾向于仅依赖后验推断，导致先验模型变得无关紧要；反之亦然，若动力学先验过强，编码器可能失去对观测的有效建模能力。为应对这一问题，DreamerV2提出了KL balancing技巧，通过分别调整先验与后验的更新路径来实现平衡。具体做法是，将KL散度分解为两个部分：一部分以停止梯度（stop gradient）的后验分布作为参考，更新动力学先验，鼓励先验动态更好地跟随后验。另一部分以停止梯度的先验分布作为参考，更新编码器后验，防止后验偏离潜在动态建模。这种处理方式有效避免了训练过程中模型过度依赖后验网络提供信息的问题，从而促使动态预测和观测编码模块在训练中保持合理协作。DreamerV3在此基础上进一步引入了**自由nats（free nats）**的方法，即为KL散度设定一个最小阈值（如1 nat），在实际KL值低于该阈值时不继续压缩KL损失。这一机制能够防止潜在状态退化到无信息的情况——即动力学先验极易预测，但由于过强的KL惩罚，模型可能倾向于让潜在状态携带极少甚至无信息，以最小化KL散度。如Dreamer作者所述，自由nats确保了潜在状态携带足够的信息量，从而使得世界模型优化重点放在提高未来预测准确性上，而不是一味压缩潜在表示的复杂性。
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项增强，旨在提升在不同任务环境下的训练稳定性和整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计能够在扩展隐藏规模的同时，显著缓解传统RNN在大规模建模下常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数量（从数千万到数亿级别），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模上，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验的输出概率与均匀分布按照99:1的比例进行线性混合。这相当于在先验分布中注入了极小的平滑项，有效避免了预测概率在训练早期迅速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少陷入局部极值或不稳定优化轨迹的风险。这些架构和正则化细节的系统性优化，使DreamerV3的世界模型能够在各类不同环境中稳定训练，包括从像素级离散控制（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更重要的是，这种稳健性在各任务之间几乎无需针对性微调超参数。 总体而言，RSSM作为潜在动力学建模的核心框架，自PlaNet首次提出以来，经过了Dreamer系列迭代的持续打磨与完善：通过latent overshooting技术提升了多步长时预测的能力；通过KL balancing与**自由比特（free nats）**技术确保潜在表示既紧凑又信息丰富；通过架构优化增强了模型容量、稳定性与可扩展性。这种经过精细优化训练得到的世界模型，能够在潜在空间中准确模拟环境状态的演化与奖励结果，为智能体基于想象（imagination-based）进行规划与决策提供了坚实可靠的基础。
*'''RSSM架构的改进与增强'''：在DreamerV3中，针对RSSM的模型架构进行了多项增强，旨在提升在不同任务环境下的训练稳定性和整体性能表现。具体而言，DreamerV3采用了分块GRU（Block GRU）作为序列建模的核心递归单元，并引入了RMSNorm归一化和SiLU激活函数，以改善梯度传播特性并增强训练的数值稳定性。分块GRU是一种将隐藏状态划分为若干独立子块、并在子块内部并行更新的递归结构。这种设计能够在扩展隐藏规模的同时，显著缓解传统RNN在大规模建模下常见的优化不稳定问题。得益于这些架构改进，DreamerV3的世界模型可以根据任务需求灵活扩展参数量（从数千万到数亿级别），并在不同规模下使用统一的超参数配置而无需专门调整，体现出优异的扩展性与稳健性。此外，在离散潜变量的建模上，DreamerV3引入了**1%均匀混合（unimix）**策略，即将分类先验的输出概率与均匀分布按照99:1的比例进行线性混合。这相当于在先验分布中注入了极小的平滑项，有效避免了预测概率在训练早期迅速饱和至0或1的现象，从而提高了潜在动态建模的鲁棒性，减少陷入局部极值或不稳定优化轨迹的风险。这些架构和正则化细节的系统性优化，使DreamerV3的世界模型能够在各类不同环境中稳定训练，包括从像素级离散控制（如Atari游戏），到连续动作控制任务（如DMControl套件），再到极具挑战性的稀疏奖励开放世界环境（如Minecraft）等。更重要的是，这种稳健性在各任务之间几乎无需针对性微调超参数。 总体而言，RSSM作为潜在动力学建模的核心框架，自PlaNet首次提出以来，经过了Dreamer系列迭代的持续打磨与完善：通过latent overshooting技术提升了多步长时预测的能力；通过KL balancing与**自由比特（free nats）**技术确保潜在表示既紧凑又信息丰富；通过架构优化增强了模型容量、稳定性与可扩展性。这种经过精细优化训练得到的世界模型，能够在潜在空间中准确模拟环境状态的演化与奖励结果，为智能体基于想象（imagination-based）进行规划与决策提供了坚实可靠的基础。