281
个编辑
更改
跳到导航
跳到搜索
第124行：
第124行： − + − 将转移元组(ϕ<sub>t</sub>,a<sub>t</sub>,r<sub>t</sub>,ϕ<sub>t+1</sub>)存入回放记忆库D。 − + − 每隔C步将主网络参数θ复制至目标网络Q<sup>-</sup>，即θ<sup>-</sup>←θ。
→具体算法及其训练流程
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像x <sub>t+1</sub>。
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像x <sub>t+1</sub>。
**预处理下一状态ϕ<sub>t+1</sub>=ϕ(s<sub>t+1</sub>)。
**预处理下一状态ϕ<sub>t+1</sub>=ϕ(s<sub>t+1</sub>)。
*存储转移数据：
*存储转移数据：将转移元组(ϕ<sub>t</sub>,a<sub>t</sub>,r<sub>t</sub>,ϕ<sub>t+1</sub>)存入回放记忆库D。
*经验回放与网络更新：
*经验回放与网络更新：
**随机采样：从D中均匀抽取小批量转移(ϕ<sub>j</sub>,a<sub>j</sub>,r<sub>j</sub>,ϕ<sub>j+1</sub>)。
**随机采样：从D中均匀抽取小批量转移(ϕ<sub>j</sub>,a<sub>j</sub>,r<sub>j</sub>,ϕ<sub>j+1</sub>)。
**目标Q值计算： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>
**目标Q值计算： <math> y_{j} = r_{j} + /gamma /max_{a} Q^{-}(ϕ_{j+1}, a) </math>
**梯度下降: <math> ∇_{θ} 1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>
**梯度下降: <math> ∇_{θ} 1/ {|B|} {/sum} (y_j-Q(ϕ_j,a_j;θ)^2 </math>
*目标网络同步：
*目标网络同步：每隔C步将主网络参数θ复制至目标网络Q<sup>-</sup>，即θ<sup>-</sup>←θ。
==Q-Learning 基础==
==Q-Learning 基础==