281
个编辑
更改
→目标网络（Target Network）的引入与参数更新策略
于是,
于是,
*'''损失函数表示为'''（忽略无关的方差项）
*'''损失函数表示为'''（忽略无关的方差项）
<math> L_{i}(θ_{i})=E_{s,a,r,s'}[(r+γ /max_{a'}Q(s',a',θ_{i}^{−})−Q(s,a,θ_{i}))^2] </math>
<math> L_{i}(θ_{i})=E_{s,a,r,s'}[(r+γ max_{a'}Q(s',a',θ_{i}^{−})−Q(s,a,θ_{i}))^2] </math>
*'''梯度为'''
*'''梯度为'''
<math> ▽_{θ_i} L_i ( θ_i ) = E_{s , a , r , s ′ }[ ( r + γ max _{a ′ }Q ( s ′ , a ′ , θ_{i}^{−} ) − Q ( s , a , θ_{i }) ) ▽ θ_i Q ( s , a , θ_i ) ] </math>
<math> ▽_{θ_i} L_i ( θ_i ) = E_{s , a , r , s ′ }[ ( r + γ max _{a ′ }Q ( s ′ , a ′ , θ_{i}^{−} ) − Q ( s , a , θ_{i }) ) ▽ θ_i Q ( s , a , θ_i ) ] </math>