281
个编辑
更改
→具体算法及其训练流程
对每个时间步t=1,2,...,T执行：
对每个时间步t=1,2,...,T执行：
*动作选择：
*动作选择：
**探索策略：以概率ϵ随机选择动作a<sub>t</sub>,促进环境探索。
**探索策略：以概率ϵ随机选择动作<math> a_{t}</math>,促进环境探索。
**利用策略：否则，根据主网络选择最优动作：a<sub>t</sub>=arg max<sub>a</sub> Q(ϕ(s<sub>t</sub>),a;θ)
**利用策略：否则，根据主网络选择最优动作：<math> a_{t} =arg /max_{a} Q(ϕ(s_{t}),a;θ)</math>
*执行与环境交互：
*执行与环境交互：
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像x <sub>t+1</sub>。
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像x <sub>t+1</sub>。
**预处理下一状态ϕ<sub>t+1</sub>=ϕ(s<sub>t+1</sub>)。
**预处理下一状态<math> ϕ_{t+1}=ϕ(s_{t+1})</math>。
*存储转移数据：将转移元组(ϕ<sub>t</sub>,a<sub>t</sub>,r<sub>t</sub>,ϕ<sub>t+1</sub>)存入回放记忆库D。
*存储转移数据：将转移元组(ϕ<sub>t</sub>,a<sub>t</sub>,r<sub>t</sub>,ϕ<sub>t+1</sub>)存入回放记忆库D。
*经验回放与网络更新：
*经验回放与网络更新：