更改

<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>。

<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>。

其中，第一项是基于优势的策略梯度项，第二项是熵正则项（<math>\eta</math>为熵系数），用于鼓励策略的随机性与探索。<br>'''鲁棒回报归一化'''<br>为了进一步提升训练稳定性，Dreamer引入了鲁棒回报归一化（robust return normalization）机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：<math>S = P_{95} - P_5</math>。并对<math>S</math>进行指数滑动平均平滑处理。归一化优势的计算公式为：<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。<br>'''世界模型冻结策略'''<br>为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。

其中，第一项是基于优势的策略梯度项，第二项是熵正则项（<math>\eta</math>为熵系数），用于鼓励策略的随机性与探索。<br>'''鲁棒回报归一化'''<br>为了进一步提升训练稳定性，Dreamer引入了[[鲁棒回报归一化]]（robust return normalization）机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：<math>S = P_{95} - P_5</math>。并对<math>S</math>进行指数滑动平均平滑处理。归一化优势的计算公式为：<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。<br>'''世界模型冻结策略'''<br>为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。

----

----