761
个编辑
更改
→DQN 的主要改进算法
经典 DQN 的目标 Q 值计算公式为：
经典 DQN 的目标 Q 值计算公式为：
<math> y_t^{\mathrm{DQN}} = r_t + \gamma \max_{a} Q(s_{t+1}, a; \theta^-) </math>
<math> y_t^{\mathrm{DQN}} = r_t + \gamma \max_{a} Q(s_{t+1}, a; \theta^-) </math>
其中：
其中：
<math> r_t </math> 是在时间步 <math> t </math> 获取的奖励，
<math> r_t </math> 是在时间步 <math> t </math> 获取的奖励，
Double DQN目标 Q 值计算公式改为：
Double DQN目标 Q 值计算公式改为：
<math> y_t^{\mathrm{DoubleDQN}} = r_t + \gamma Q\bigl(s_{t+1}, \arg\max_a Q(s_{t+1}, a; \theta); \theta^- \bigr) </math>
<math> y_t^{\mathrm{DoubleDQN}} = r_t + \gamma Q\bigl(s_{t+1}, \arg\max_a Q(s_{t+1}, a; \theta); \theta^- \bigr) </math>