761
个编辑
更改
跳到导航
跳到搜索
第63行：
第63行： − + − − −
→策略网络与值函数
<br>
<br>
*'''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。具体地，给定一条想象轨迹：<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，其中<math>z_H</math>为轨迹末状态，可以为每个中间潜在状态构造目标价值<math>R_t^\lambda</math>。
*'''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。具体地，给定一条想象轨迹：<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，其中<math>z_H</math>为轨迹末状态，可以为每个中间潜在状态构造目标价值<math>R_t^\lambda</math>。
λ-return的基本思路是对不同步长<math>n</math>的回报进行加权平均，定义为：<math>R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n})</math>，并在<math>n</math>趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计<math>v_\psi(z_H)</math>近似未来无穷远回报，从而为每个状态提供全局价值估计。随后，价值网络通过最小化以下均方误差损失进行训练：<math>\frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2</math>。
λ-return的基本思路是对不同步长<math>n</math>的回报进行加权平均，定义为：<math>R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n})</math>，并在<math>n</math>趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计<math>v_\psi(z_H)</math>近似未来无穷远回报，从而为每个状态提供全局价值估计。随后，价值网络通过最小化以下均方误差损失进行训练：<math>\frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2</math>。<br>为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：<br>1. 终止状态折扣修正：对于预测为终止的状态，Dreamer根据折扣因子<math>\gamma_t</math>，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按<math>\gamma_t</math>的乘积因子递减，避免无意义误差影响训练。
<br>
为进一步提升训练的稳定性与鲁棒性，Dreamer引入了以下优化措施：
1. 终止状态折扣修正：对于预测为终止的状态，Dreamer根据折扣因子<math>\gamma_t</math>，对后续步骤的损失贡献进行累积折扣衰减。若模型预测某步后episode结束，相应的价值误差将按<math>\gamma_t</math>的乘积因子递减，避免无意义误差影响训练。
2. 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。
2. 回报尺度归一化（Symlog变换与Two-Hot编码）：为了适应不同任务环境下回报尺度差异，DreamerV3引入了对称log变换（symlog）与Two-Hot编码结合的方法：Symlog变换压缩回报尺度，公式为：<math>\text{symlog}(x) = \text{sign}(x) \cdot \log(1 + |x|)</math>。训练时，价值网络回归symlog变换后的回报，推理时通过symexp（逆变换）还原实际值。此方法能有效抑制极端大回报带来的梯度爆炸，提升训练稳定性。同时，为了进一步平滑训练目标，DreamerV3将symlog后的目标值离散到相邻的离散桶，并采用Two-Hot编码表示概率分布。价值网络输出每个桶的概率预测，训练时使用交叉熵或KL散度作为损失。相比直接实数回归或One-Hot分桶，Two-Hot编码能减缓因跨度大导致的训练不稳定性，使价值估计更加平滑且精确。
3. 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。
3. 目标网络机制（Exponential Moving Average, EMA）：为了防止价值估计在训练中发生不稳定震荡，DreamerV3引入了目标价值网络。具体做法是：维护一个价值网络参数的指数滑动平均版本（EMA），并在训练中添加正则项，促使在线价值网络输出逐步向目标网络靠拢。