281
个编辑
更改
→具体算法及其训练流程
(4)经验回放与网络更新：
(4)经验回放与网络更新：
随机采样：从D中均匀抽取小批量转移(ϕ<sub>j</sub>,a<sub>j</sub>,r<sub>j</sub>,ϕ<sub>j+1</sub>)。
随机采样：从D中均匀抽取小批量转移(ϕ<sub>j</sub>,a<sub>j</sub>,r<sub>j</sub>,ϕ<sub>j+1</sub>)。
目标Q值计算： <math> y_{j} = r_{j} + /gamma /max_{a'} Q^{_}(ϕ_{j+1}, a') </math>
目标Q值计算： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>
梯度下降: <math> {/Delta_{/theta} }1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>
梯度下降: <math> {/Delta_{/theta} }1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>
(5)目标网络同步：
(5)目标网络同步：