更改

# 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹的起点；

# 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹的起点；

# 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。

# 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。

<br>通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。

通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。

 

<br>

<br>

*'''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。具体地，给定一条想象轨迹：<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，其中<math>z_H</math>为轨迹末状态，可以为每个中间潜在状态构造目标价值<math>R_t^\lambda</math>。

*'''价值函数训练'''：在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的时序差分学习（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。具体地，给定一条想象轨迹：<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，其中<math>z_H</math>为轨迹末状态，可以为每个中间潜在状态构造目标价值<math>R_t^\lambda</math>。

λ-return的基本思路是对不同步长<math>n</math>的回报进行加权平均，定义为：<math>R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n})</math>，并在<math>n</math>趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计<math>v_\psi(z_H)</math>近似未来无穷远回报，从而为每个状态提供全局价值估计。随后，价值网络通过最小化以下均方误差损失进行训练：<math>\frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2</math>。

λ-return的基本思路是对不同步长<math>n</math>的回报进行加权平均，定义为：<math>R_t^\lambda = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots + \gamma^{n-1} r_{t+n-1} + \gamma^n v_\psi(z_{t+n})</math>，并在<math>n</math>趋近轨迹末端时截断。直观地说，λ-return在有限长度模拟轨迹内考虑累计奖励，并在终点使用价值网络估计<math>v_\psi(z_H)</math>近似未来无穷远回报，从而为每个状态提供全局价值估计。随后，价值网络通过最小化以下均方误差损失进行训练：<math>\frac{1}{2} (v_\psi(z_t) - R_t^\lambda)^2</math>。