281
个编辑
更改
跳到导航
跳到搜索
第110行：
第110行： − + 第117行：
第117行： − + − + − + − <math>max</math>
→具体算法及其训练流程
*动作选择：
*动作选择：
**探索策略：以概率ϵ随机选择动作<math> a_{t}</math>,促进环境探索。
**探索策略：以概率ϵ随机选择动作<math> a_{t}</math>,促进环境探索。
**利用策略：否则，根据主网络选择最优动作：<math> a_{t} =arg /max_{a} Q(ϕ(s_{t}),a;θ)</math>
**利用策略：否则，根据主网络选择最优动作：<math> a_{t} =argmax_{a} Q(ϕ(s_{t}),a;θ)</math>
*执行与环境交互：
*执行与环境交互：
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像<math>x _{t+1}</math>。
**执行动作a<sub>t</sub>，获取奖励r<sub>t</sub>和下一帧图像<math>x _{t+1}</math>。
*经验回放与网络更新：
*经验回放与网络更新：
**随机采样：从<math>D</math>中均匀抽取小批量转移<math>(ϕ_{j},a_{j},r_{j},ϕ_{j+1})</math>。
**随机采样：从<math>D</math>中均匀抽取小批量转移<math>(ϕ_{j},a_{j},r_{j},ϕ_{j+1})</math>。
**目标<math>Q</math>值计算： <math> y_{j} = r_{j} + γ /max _{a} Q^{-}(ϕ_{j+1}, a) </math>
**目标<math>Q</math>值计算： <math> y_{j} = r_{j} + γ max _{a} Q^{-}(ϕ_{j+1}, a) </math>
**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]: <math> ∇_{θ} 1/ {|B|} /sum (y_j-Q(ϕ_j,a_j;θ)^2 </math> ，B为batch数据
**[https://baike.baidu.com/item/梯度下降?fromModule=lemma_search-box 梯度下降]: <math> ∇_{θ} 1/ {|B|} ∑(y_j-Q(ϕ_j,a_j;θ)^2 </math> ，B为batch数据
*目标网络同步：每隔<math>C</math>步将主网络参数<math>θ</math>复制至目标网络<math>Q^{-}</math>，即</math>θ^{-}←θ</math>。
*目标网络同步：每隔<math>C</math>步将主网络参数<math>θ</math>复制至目标网络<math>Q^{-}</math>，即<math>θ^{-}←θ</math>。
==Q-Learning 基础==
==Q-Learning 基础==