更改

(4)经验回放与网络更新​​：

(4)经验回放与网络更新​​：

随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

随机采样​​：从D中均匀抽取小批量转移(ϕ_j,a_j,r_j,ϕ_j+1)。

目标Q值计算​​： <math> y_j =   r_j + \gamma \max_{a'} Q^{_}(ϕ_{j+1}, a')</math>

目标Q值计算​​： <math> {y_j} = {r_j} + {\gamma} {\max_{a'} Q^{_}(ϕ_{j+1}, a')}</math>

梯度下降​​: <math> /Delta_{/theta} 1/ |B| /sum (y_j-Q(ϕ_j,a_j;θ)^2 </math>

梯度下降​​: <math> {/Delta_{/theta} }1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>

(5)目标网络同步​​：

(5)目标网络同步​​：

每隔C步将主网络参数θ复制至目标网络<math>Q^-</math>，即θ^-←θ。

每隔C步将主网络参数θ复制至目标网络Q^-，即θ^-←θ。

==Q-Learning 基础==

==Q-Learning 基础==