761
个编辑
更改
→策略网络与值函数
<br>
<br>
*'''策略网络的训练与优化'''：在Dreamer框架中，策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。策略的训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。在一条想象轨迹中，策略网络希望在每一个潜在状态<math>z_t</math>选择动作，使得后继状态的价值<math>v_\psi(z_{t+1})</math>最大化。换言之，策略优化的目标可以简化为在每一步最大化<math>v_\psi(z_t)</math>，因此常通过最小化负的价值估计<math>-v_\psi(z_t)</math>来训练。<br>Dreamer采用**策略梯度（policy gradient）**方法来优化这一目标。由于世界模型提供了可微分的潜在空间动力系统，Dreamer能够直接在潜在轨迹上进行梯度计算，实现高效的策略更新。<br>'''策略梯度计算与损失构建'''<br>在训练过程中，策略网络根据当前潜在状态<math>z_t</math>输出动作分布<math>\pi_\theta(a_t|z_t)</math>，并通过采样获得动作<math>a_t</math>。RSSM根据<math>a_t</math>与<math>z_t</math>生成下一个潜在状态<math>z_{t+1}</math>，并由价值网络估计<math>v_\psi(z_{t+1})</math>。为了统一适配连续与离散动作环境，Dreamer在想象轨迹中使用REINFORCE策略梯度近似目标：<math>\nabla_\theta J \approx \mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \nabla_\theta \log \pi_\theta(a_t|z_t)\right]</math>。其中，<math>R_t^\lambda</math>是基于λ-return构建的多步累计回报，<math>v_\psi(z_t)</math>为价值网络提供的基线，二者之差作为优势估计（advantage），用于减少策略梯度估计的方差。策略网络的整体损失函数定义为：<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>。其中，第一项是基于优势的策略梯度项，第二项是熵正则项（<math>\eta</math>为熵系数），用于鼓励策略的随机性与探索。<br>'''鲁棒回报归一化'''<br>为了进一步提升训练稳定性，Dreamer引入了**鲁棒回报归一化（robust return normalization）**机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：<math>S = P_{95} - P_5</math>。并对<math>S</math>进行指数滑动平均平滑处理。归一化优势的计算公式为：<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。<br>'''世界模型冻结策略'''<br>为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。
*'''策略网络的训练与优化'''：在Dreamer框架中，策略网络（actor）的目标是输出能够最大化长期累积奖励的动作。策略的训练完全基于模型想象（imagination）生成的数据，而不是直接从真实环境中采样梯度信号。在一条想象轨迹中，策略网络希望在每一个潜在状态<math>z_t</math>选择动作，使得后继状态的价值<math>v_\psi(z_{t+1})</math>最大化。换言之，策略优化的目标可以简化为在每一步最大化<math>v_\psi(z_t)</math>，因此常通过最小化负的价值估计<math>-v_\psi(z_t)</math>来训练。<br>Dreamer采用**策略梯度（policy gradient）**方法来优化这一目标。由于世界模型提供了可微分的潜在空间动力系统，Dreamer能够直接在潜在轨迹上进行梯度计算，实现高效的策略更新。<br>'''策略梯度计算与损失构建'''<br>在训练过程中，策略网络根据当前潜在状态<math>z_t</math>输出动作分布<math>\pi_\theta(a_t|z_t)</math>，并通过采样获得动作<math>a_t</math>。RSSM根据<math>a_t</math>与<math>z_t</math>生成下一个潜在状态<math>z_{t+1}</math>，并由价值网络估计<math>v_\psi(z_{t+1})</math>。为了统一适配连续与离散动作环境，Dreamer在想象轨迹中使用REINFORCE策略梯度近似目标：<math>\nabla_\theta J \approx \mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \nabla_\theta \log \pi_\theta(a_t|z_t)\right]</math>。其中，<math>R_t^\lambda</math>是基于λ-return构建的多步累计回报，<math>v_\psi(z_t)</math>为价值网络提供的基线，二者之差作为优势估计（advantage），用于减少策略梯度估计的方差。策略网络的整体损失函数定义为：<math>L_{\text{actor}} = -\mathbb{E}\left[(R_t^\lambda - v_\psi(z_t)) \log \pi_\theta(a_t|z_t)\right] - \eta \mathbb{E}\left[H(\pi_\theta(\cdot|z_t))\right]</math>。其中，第一项是基于优势的策略梯度项，第二项是熵正则项（<math>\eta</math>为熵系数），用于鼓励策略的随机性与探索。<br>'''鲁棒回报归一化'''<br>为了进一步提升训练稳定性，Dreamer引入了**鲁棒回报归一化（robust return normalization）**机制，以应对不同任务中奖励尺度差异带来的训练不平衡问题。具体做法是：在每个模拟批次中，收集所有<math>R_t^\lambda</math>，取第5百分位<math>P_5</math>与第95百分位<math>P_{95}</math>，定义有效范围：<math>S = P_{95} - P_5</math>。并对<math>S</math>进行指数滑动平均平滑处理。归一化优势的计算公式为：<math>\text{Advantage} = \frac{R_t^\lambda - v_\psi(z_t)}{\max(1, S)}</math>。这种归一化确保了在稀疏奖励或密集奖励环境中，优势尺度大致统一，熵正则项<math>\eta H(\pi)</math>的相对影响力保持一致，有效避免了熵项在不同任务中失衡的问题。此外，Dreamer统一采用固定的小熵系数（如<math>\eta = 3 \times 10^{-4}</math>），无需根据任务单独调整。<br>'''世界模型冻结策略'''<br>为了保证训练的稳定性，Dreamer在策略优化阶段冻结世界模型参数，即策略网络更新过程中不会反向修改RSSM或奖励模型。这种设计保证了策略训练是在一个静态、稳定的模拟环境中进行，符合策略梯度理论假设，避免了模型和策略间相互干扰导致的震荡与不稳定。
==='''3.2 训练过程'''===
==='''3.2 训练过程'''===