更改

为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：

为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：

'''1. 终止状态折扣修正'''

1. 终止状态折扣修正：对于预测为终止的状态，Dreamer根据折扣因子<math>\gamma_t</math>，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按<math>\gamma_t</math>的乘积因子递减，避免无意义误差影响训练。

对于预测为终止的状态，Dreamer根据折扣因子<math>\gamma_t</math>，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按<math>\gamma_t</math>的乘积因子递减，避免无意义误差影响训练。

2. 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。

'''2. 回报尺度归一化（Symlog变换与Two-Hot编码）'''

3. 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。

为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：

Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。

'''3. 目标网络机制（Exponential Moving Average, EMA）'''

<br>

<br>

**'''策略网络的训练与优化'''：策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。在Dreamer系列中，策略训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。具体来说，在一条想象轨迹中，策略希望在每一个潜在状态zₜ选择动作，使得后继状态的价值vᵩ(zₜ₊₁)最大化。换言之，策略的优化目标可以等价表述为最大化未来回报，或简化为在每一步最大化vᵩ(zₜ)。因此，策略损失通常定义为负的价值估计，即每步最小化-vᵩ(zₜ)。Dreamer采用策略梯度（policy gradient）方法来优化这一目标。但与传统策略梯度不同的是，由于世界模型提供了一个可微分的动力系统，Dreamer可以利用模型内部的微分结构来计算梯度，拓展了训练方法的灵活性。在DreamerV1中，针对连续动作任务（如DeepMind Control Suite），作者选择了直接通过模型和价值复合网络反向传播的方法进行策略优化。具体过程是：  1. 策略网络输出一个高斯分布πθ(aₜ|zₜ)，通过重参数化（reparameterization）采样动作aₜ；  2. RSSM根据aₜ和zₜ生成后继潜在状态zₜ₊₁；  3. 将zₜ₊₁输入价值网络，输出价值估计vᵩ(zₜ₊₁)。  由于上述链路整体可导，DreamerV1直接通过**路径导数（pathwise derivative）**形式，将价值对动作的导数传递到策略参数，实现了解析梯度。这种方法类似于在模型环境上执行确定性策略梯度（如DDPG），但要求动作和状态采样过程均可重参数化。当动作空间是离散的（如Atari游戏）时，重参数化采样不可用，无法直接对离散动作求导。为了统一适配连续与离散动作环境，DreamerV2提出结合两种梯度估计方式：动态模型反传梯度（dynamics backpropagation）：在可重参数化时，使用模型可导性进行梯度反传；REINFORCE策略梯度：在不可导时，使用基于采样的无偏估计。其基本形式为：∇θJ ≈ 𝔼[(Rₜ^λ - vᵩ(zₜ)) ∇θ log πθ(aₜ|zₜ)]。其中Rₜ^λ是λ-return累计回报，vᵩ(zₜ)是价值网络估计，二者之差作为优势估计（advantage），用于减小梯度方差。  DreamerV2将两种梯度按权重ρ进行加权融合，形成总的策略损失：L_actor = -𝔼[ρ(Rₜ^λ - vᵩ(zₜ)) log πθ(aₜ|zₜ) + (1-ρ)Rₜ^λ] - η𝔼[H(πθ(·|zₜ))]其中：第一项是基于REINFORCE的策略梯度；第二项是基于模型反传的策略梯度；第三项是熵正则项（H表示策略熵，η为熵系数），鼓励探索。通过调整ρ，可以在纯采样梯度（ρ=1）和纯解析梯度（ρ=0）之间插值。DreamerV2实验发现：在离散动作环境（如Atari）中，采用ρ=1（REINFORCE）效果更好；在连续控制任务中，采用ρ=0（模型反传）收敛更快。两种情况下均加入熵正则，以鼓励策略保持一定的随机性，防止过早收敛到确定性策略。  为进一步提升普适性和稳定性，DreamerV3对策略优化进行了简化和改进：  1. 统一使用REINFORCE梯度：无论动作空间连续或离散，均采用基于采样的策略梯度训练actor，不再使用解析梯度。这一设计提升了算法在各种任务下的一致性和稳定性。  2. 鲁棒回报归一化（Robust Return Normalization）：DreamerV3针对不同环境奖励尺度差异巨大带来的训练不稳定问题，引入了分位数归一化技术。  在每个批次想象轨迹中，收集所有Rₜ^λ，取第5百分位P₅和第95百分位P₉₅；定义有效范围S = P₉₅ - P₅，并对S进行指数滑动平均平滑；用S归一化优势：(Rₜ^λ - vᵩ(zₜ)) / max(1, S)。这样归一化后的优势大致落在统一尺度，确保熵正则ηH(π)在不同环境下的相对作用一致，避免稀疏奖励或稠密奖励场景下熵项影响不平衡。此外，DreamerV3继续保留了固定的小熵系数（如η=3×10⁻⁴），统一适用于各种任务，无需任务特定调参。最后，为保证训练稳定性，DreamerV3在策略网络优化时冻结世界模型参数，即策略梯度不会反向更新世界模型。这使得模型模拟环境始终保持固定，符合策略梯度理论假设，有效避免因模型-策略相互干扰导致的不稳定性。

 

*'''策略网络的训练与优化'''：策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。在Dreamer系列中，策略训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。具体来说，在一条想象轨迹中，策略希望在每一个潜在状态zₜ选择动作，使得后继状态的价值vᵩ(zₜ₊₁)最大化。换言之，策略的优化目标可以等价表述为最大化未来回报，或简化为在每一步最大化vᵩ(zₜ)。因此，策略损失通常定义为负的价值估计，即每步最小化-vᵩ(zₜ)。Dreamer采用策略梯度（policy gradient）方法来优化这一目标。但与传统策略梯度不同的是，由于世界模型提供了一个可微分的动力系统，Dreamer可以利用模型内部的微分结构来计算梯度，拓展了训练方法的灵活性。在DreamerV1中，针对连续动作任务（如DeepMind Control Suite），作者选择了直接通过模型和价值复合网络反向传播的方法进行策略优化。具体过程是：  1. 策略网络输出一个高斯分布πθ(aₜ|zₜ)，通过重参数化（reparameterization）采样动作aₜ；  2. RSSM根据aₜ和zₜ生成后继潜在状态zₜ₊₁；  3. 将zₜ₊₁输入价值网络，输出价值估计vᵩ(zₜ₊₁)。  由于上述链路整体可导，DreamerV1直接通过**路径导数（pathwise derivative）**形式，将价值对动作的导数传递到策略参数，实现了解析梯度。这种方法类似于在模型环境上执行确定性策略梯度（如DDPG），但要求动作和状态采样过程均可重参数化。当动作空间是离散的（如Atari游戏）时，重参数化采样不可用，无法直接对离散动作求导。为了统一适配连续与离散动作环境，DreamerV2提出结合两种梯度估计方式：动态模型反传梯度（dynamics backpropagation）：在可重参数化时，使用模型可导性进行梯度反传；REINFORCE策略梯度：在不可导时，使用基于采样的无偏估计。其基本形式为：∇θJ ≈ 𝔼[(Rₜ^λ - vᵩ(zₜ)) ∇θ log πθ(aₜ|zₜ)]。其中Rₜ^λ是λ-return累计回报，vᵩ(zₜ)是价值网络估计，二者之差作为优势估计（advantage），用于减小梯度方差。  DreamerV2将两种梯度按权重ρ进行加权融合，形成总的策略损失：L_actor = -𝔼[ρ(Rₜ^λ - vᵩ(zₜ)) log πθ(aₜ|zₜ) + (1-ρ)Rₜ^λ] - η𝔼[H(πθ(·|zₜ))]其中：第一项是基于REINFORCE的策略梯度；第二项是基于模型反传的策略梯度；第三项是熵正则项（H表示策略熵，η为熵系数），鼓励探索。通过调整ρ，可以在纯采样梯度（ρ=1）和纯解析梯度（ρ=0）之间插值。DreamerV2实验发现：在离散动作环境（如Atari）中，采用ρ=1（REINFORCE）效果更好；在连续控制任务中，采用ρ=0（模型反传）收敛更快。两种情况下均加入熵正则，以鼓励策略保持一定的随机性，防止过早收敛到确定性策略。  为进一步提升普适性和稳定性，DreamerV3对策略优化进行了简化和改进：  1. 统一使用REINFORCE梯度：无论动作空间连续或离散，均采用基于采样的策略梯度训练actor，不再使用解析梯度。这一设计提升了算法在各种任务下的一致性和稳定性。  2. 鲁棒回报归一化（Robust Return Normalization）：DreamerV3针对不同环境奖励尺度差异巨大带来的训练不稳定问题，引入了分位数归一化技术。  在每个批次想象轨迹中，收集所有Rₜ^λ，取第5百分位P₅和第95百分位P₉₅；定义有效范围S = P₉₅ - P₅，并对S进行指数滑动平均平滑；用S归一化优势：(Rₜ^λ - vᵩ(zₜ)) / max(1, S)。这样归一化后的优势大致落在统一尺度，确保熵正则ηH(π)在不同环境下的相对作用一致，避免稀疏奖励或稠密奖励场景下熵项影响不平衡。此外，DreamerV3继续保留了固定的小熵系数（如η=3×10⁻⁴），统一适用于各种任务，无需任务特定调参。最后，为保证训练稳定性，DreamerV3在策略网络优化时冻结世界模型参数，即策略梯度不会反向更新世界模型。这使得模型模拟环境始终保持固定，符合策略梯度理论假设，有效避免因模型-策略相互干扰导致的不稳定性。

**'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。

**'''综合想象训练的效果'''：通过上述机制，Dreamer系列实现了在潜在空间内进行闭环决策训练：世界模型基于真实环境交互不断完善，策略网络与价值网络则在世界模型内部模拟生成的想象轨迹上持续优化，形成了相互促进的学习过程。由于每一次真实交互之后可以利用模型生成大量潜在轨迹供训练，Dreamer展现出了极高的样本效率。这一特性解释了为何DreamerV2即使在单GPU、单环境进程的设置下，也能够在Atari游戏任务中取得超越传统强化学习算法（如Rainbow）的性能表现。  总体而言，从PlaNet到DreamerV3的发展历程体现了强化学习范式的重大转变：从早期“基于世界模型进行在线规划”，转向了“基于世界模型进行离线想象训练政策”，实现了对模型能力的更加系统和高效的利用。具体来说，通过精巧设计的循环状态空间模型（RSSM），结合基于λ-return的actor-critic训练框架，Dreamer系列成功地在潜在空间中实现了高效的决策学习：世界模型为策略提供了可微分的长期动态预测；价值网络为策略学习提供了方向性引导；策略网络则在大量想象数据上不断优化，以最大化累积回报。这种基于世界模型的想象强化学习框架，使得Dreamer能够以单一算法，在连续控制、离散动作游戏、以及稀疏奖励的3D复杂任务等广泛领域中展现卓越的适应性与性能。