761
个编辑
更改
跳到导航
跳到搜索
第163行：
第163行： − +
→策略网络与值函数
在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。
在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。
具体地，给定一条想象轨迹：
<br>具体地，给定一条想象轨迹：
<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，
<math>(z_0, r_0), (z_1, r_1), \dots, (z_H, r_H)</math>，