更改

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

**随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

**目标Q值计算​​： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>

**目标Q值计算​​： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>

**梯度下降​​: <math> ∇_{θ} 1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>

**梯度下降​​: <math> ∇_{θ} 1/ {|'''B'''|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math> '''B'''为batch数据

*目标网络同步​​：每隔C步将主网络参数θ复制至目标网络Q^-，即θ^-←θ。

*目标网络同步​​：每隔C步将主网络参数θ复制至目标网络Q^-，即θ^-←θ。