更改

在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。

在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。

具体地，给定一条想象轨迹：

<br>具体地，给定一条想象轨迹：

<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，

<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，