更改

*** '''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。

*** '''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。

*'''3.2 训练过程'''

=== '''3.2 训练过程''' ===

** 表征学习阶段

** 表征学习阶段

** 基于潜在空间的Rollout与策略优化

** 基于潜在空间的Rollout与策略优化

** 重参数技巧与ELBO目标函数

** 重参数技巧与ELBO目标函数