更改

===目标网络（Target Network）的引入与参数更新策略===

===目标网络（Target Network）的引入与参数更新策略===

为了更长远的提高稳定性，使用一个独立的神经Q网络去得到target y，即建立另一个独立的神经网络target network。每经过c次更新后，复制 network Q得到target network Q’，然后使用Q’去生成target y应用与接下来的c次更新。好处就是比起online Q-learning算法更稳定。因为online Q-learning每次更新在增加Q(st,at)的同时也增加了针对每个a的Q(st+1,a)<math> Q(s_{t+1},a) </math>，从而增加了 target y，这又可能会引起策略的震荡甚至发散。所以目标网络（Target Network）的引入可以解决这一问题。

为了更长远的提高稳定性，使用一个独立的神经Q网络去得到target y，即建立另一个独立的神经网络target network。每经过c次更新后，复制 network Q得到target network Q’，然后使用Q’去生成target y应用与接下来的c次更新。好处就是比起online Q-learning算法更稳定。因为online Q-learning每次更新在增加<math> Q(s_{t+1},a) </math>的同时也增加了针对每个a的<math> Q(s_{t+1},a) </math>，从而增加了 target y，这又可能会引起策略的震荡甚至发散。所以目标网络（Target Network）的引入可以解决这一问题。

于是,

于是,