更改

**随机采样​​：从<math>D</math>中均匀抽取小批量转移<math>(ϕ_{j},a_{j},r_{j},ϕ_{j+1})</math>。

**随机采样​​：从<math>D</math>中均匀抽取小批量转移<math>(ϕ_{j},a_{j},r_{j},ϕ_{j+1})</math>。

**目标<math>Q</math>值计算​​： <math> y_{j} = r_{j} + γ max _{a} Q^{-}(ϕ_{j+1}, a) </math>

**目标<math>Q</math>值计算​​： <math> y_{j} = r_{j} + γ max _{a} Q^{-}(ϕ_{j+1}, a) </math>

**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]​​: <math> ∇_{θ} 1/ {|B|} ∑(y_j-Q(ϕ_j,a_j;θ)^2 </math> ，B为batch数据

**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]​​: <math> ∇_{θ} 1/ {|B|} ∑(y_j-Q(ϕ_j,a_j;θ))^2 </math> ，B为batch数据

*目标网络同步​​：每隔<math>C</math>步将主网络参数<math>θ</math>复制至目标网络<math>Q^{-}</math>，即<math>θ^{-}←θ</math>。

*目标网络同步​​：每隔<math>C</math>步将主网络参数<math>θ</math>复制至目标网络<math>Q^{-}</math>，即<math>θ^{-}←θ</math>。