5,443
个编辑
更改
跳到导航
跳到搜索
第124行：
第124行： − +
→价值函数训练
=== 价值函数训练 ===
=== 价值函数训练 ===
在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。
在Dreamer框架中，价值网络以潜在状态（<math>z_t</math>）或更完整的隐状态对（<math>h_t</math>，<math>s_t</math>）作为输入，输出一个标量（<math>v_\psi(z_t)</math>），用于近似当前潜在状态下的期望折扣，累积回报。为了高效训练价值网络，Dreamer采用了基于想象轨迹的[[时序差分学习]]（temporal difference learning），并结合了λ-return方法，在训练中平衡偏差与方差。
具体地，给定一条想象轨迹：
具体地，给定一条想象轨迹：