761
个编辑
更改
跳到导航
跳到搜索
第527行：
第527行： + + 第534行：
第536行： +
→DQN 的主要改进算法
经典 DQN 的目标 Q 值计算公式为：
经典 DQN 的目标 Q 值计算公式为：
<math> y_t^{\mathrm{DQN}} = r_t + \gamma \max_{a} Q(s_{t+1}, a; \theta^-) </math>
<math> y_t^{\mathrm{DQN}} = r_t + \gamma \max_{a} Q(s_{t+1}, a; \theta^-) </math>
其中：
其中：
<math> r_t </math> 是在时间步 <math> t </math> 获取的奖励，
<math> r_t </math> 是在时间步 <math> t </math> 获取的奖励，
Double DQN目标 Q 值计算公式改为：
Double DQN目标 Q 值计算公式改为：
<math> y_t^{\mathrm{DoubleDQN}} = r_t + \gamma Q\bigl(s_{t+1}, \arg\max_a Q(s_{t+1}, a; \theta); \theta^- \bigr) </math>
<math> y_t^{\mathrm{DoubleDQN}} = r_t + \gamma Q\bigl(s_{t+1}, \arg\max_a Q(s_{t+1}, a; \theta); \theta^- \bigr) </math>