更改

<br>

<br>

*'''策略网络的训练与优化'''：策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。在Dreamer系列中，策略训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。具体来说，在一条想象轨迹中，策略希望在每一个潜在状态zₜ选择动作，使得后继状态的价值vᵩ(zₜ₊₁)最大化。换言之，策略的优化目标可以等价表述为最大化未来回报，或简化为在每一步最大化vᵩ(zₜ)。因此，策略损失通常定义为负的价值估计，即每步最小化-vᵩ(zₜ)。Dreamer采用策略梯度（policy gradient）方法来优化这一目标。但与传统策略梯度不同的是，由于世界模型提供了一个可微分的动力系统，Dreamer可以利用模型内部的微分结构来计算梯度，拓展了训练方法的灵活性。在DreamerV1中，针对连续动作任务（如DeepMind Control Suite），作者选择了直接通过模型和价值复合网络反向传播的方法进行策略优化。具体过程是：  1. 策略网络输出一个高斯分布πθ(aₜ|zₜ)，通过重参数化（reparameterization）采样动作aₜ；  2. RSSM根据aₜ和zₜ生成后继潜在状态zₜ₊₁；  3. 将zₜ₊₁输入价值网络，输出价值估计vᵩ(zₜ₊₁)。 由于上述链路整体可导，DreamerV1直接通过**路径导数（pathwise derivative）**形式，将价值对动作的导数传递到策略参数，实现了解析梯度。这种方法类似于在模型环境上执行确定性策略梯度（如DDPG），但要求动作和状态采样过程均可重参数化。当动作空间是离散的（如Atari游戏）时，重参数化采样不可用，无法直接对离散动作求导。为了统一适配连续与离散动作环境，DreamerV2提出结合两种梯度估计方式：动态模型反传梯度（dynamics backpropagation）：在可重参数化时，使用模型可导性进行梯度反传；REINFORCE策略梯度：在不可导时，使用基于采样的无偏估计。其基本形式为：∇θJ ≈ 𝔼[(Rₜ^λ - vᵩ(zₜ)) ∇θ log πθ(aₜ|zₜ)]。其中Rₜ^λ是λ-return累计回报，vᵩ(zₜ)是价值网络估计，二者之差作为优势估计（advantage），用于减小梯度方差。  DreamerV2将两种梯度按权重ρ进行加权融合，形成总的策略损失：L_actor = -𝔼[ρ(Rₜ^λ - vᵩ(zₜ)) log πθ(aₜ|zₜ) + (1-ρ)Rₜ^λ] - η𝔼[H(πθ(·|zₜ))]其中：第一项是基于REINFORCE的策略梯度；第二项是基于模型反传的策略梯度；第三项是熵正则项（H表示策略熵，η为熵系数），鼓励探索。通过调整ρ，可以在纯采样梯度（ρ=1）和纯解析梯度（ρ=0）之间插值。DreamerV2实验发现：在离散动作环境（如Atari）中，采用ρ=1（REINFORCE）效果更好；在连续控制任务中，采用ρ=0（模型反传）收敛更快。两种情况下均加入熵正则，以鼓励策略保持一定的随机性，防止过早收敛到确定性策略。  为进一步提升普适性和稳定性，DreamerV3对策略优化进行了简化和改进：  1. 统一使用REINFORCE梯度：无论动作空间连续或离散，均采用基于采样的策略梯度训练actor，不再使用解析梯度。这一设计提升了算法在各种任务下的一致性和稳定性。  2. 鲁棒回报归一化（Robust Return Normalization）：DreamerV3针对不同环境奖励尺度差异巨大带来的训练不稳定问题，引入了分位数归一化技术。  在每个批次想象轨迹中，收集所有Rₜ^λ，取第5百分位P₅和第95百分位P₉₅；定义有效范围S = P₉₅ - P₅，并对S进行指数滑动平均平滑；用S归一化优势：(Rₜ^λ - vᵩ(zₜ)) / max(1, S)。这样归一化后的优势大致落在统一尺度，确保熵正则ηH(π)在不同环境下的相对作用一致，避免稀疏奖励或稠密奖励场景下熵项影响不平衡。此外，DreamerV3继续保留了固定的小熵系数（如η=3×10⁻⁴），统一适用于各种任务，无需任务特定调参。最后，为保证训练稳定性，DreamerV3在策略网络优化时冻结世界模型参数，即策略梯度不会反向更新世界模型。这使得模型模拟环境始终保持固定，符合策略梯度理论假设，有效避免因模型-策略相互干扰导致的不稳定性。

*'''策略网络的训练与优化'''：在Dreamer框架中，策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。策略的训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。

 

在一条想象轨迹中，策略网络希望在每一个潜在状态<math>z_t</math>选择动作，使得后继状态的价值<math>v_\psi(z_{t+1})</math>最大化。换言之，策略优化的目标可以简化为在每一步最大化<math>v_\psi(z_t)</math>，因此常通过最小化负的价值估计<math>-v_\psi(z_t)</math>来训练。

 

 

 

在训练过程中，策略网络根据当前潜在状态<math>z_t</math>输出动作分布<math>\pi_\theta(a_t|z_t)</math>，并通过采样获得动作<math>a_t</math>。RSSM根据<math>a_t</math>与<math>z_t</math>生成下一个潜在状态<math>z_{t+1}</math>，并由价值网络估计<math>v_\psi(z_{t+1})</math>。

 

 

<math>\nabla_\theta J \approx \mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \nabla_\theta \log \pi_\theta(a_t|z_t)\right]</math>

 

其中，<math>R_t^\lambda</math>是基于λ-return构建的多步累计回报，<math>v_\psi(z_t)</math>为价值网络提供的基线，二者之差作为优势估计（advantage），用于减少策略梯度估计的方差。

 

 

<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>

 

 

 

 

具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：

 

<math>S = P_{95} - P_5</math>

 

 

<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>

 

这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。

 

此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。

 

 

*'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。

*'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。