281
个编辑
更改
无编辑摘要
经典 DQN 的目标 Q 值计算公式为：
经典 DQN 的目标 Q 值计算公式为：
<math xmlns="http://www.w3.org/1998/Math/MathML">
<math> y_t^{\mathrm{DQN}} = r_t + \gamma \max_{a} Q(s_{t+1}, a; \theta^-) </math>
</math>
====Double DQN算法实现====
==== Double DQN算法实现====
====Double DQN的优势====
==== Double DQN的优势====
传统 DQN 在更新时，直接用目标网络估计的最大 Q 值作为目标，这种“最大化”操作容易从噪声中挑选出偏大值，导致整体偏高。Double DQN 则先用当前网络挑选动作，再用目标网络计算价值，避免了单一网络同时负责选动作和评估动作价值所带来的偏差。Double DQN 是一种简单有效的改进策略，通过“动作选择”和“动作评估”分开估计，显著缓解了 Q 值过高估计问题，提高了深度强化学习算法的稳定性和性能，已成为深度强化学习领域的重要方法之一。
传统 DQN 在更新时，直接用目标网络估计的最大 Q 值作为目标，这种“最大化”操作容易从噪声中挑选出偏大值，导致整体偏高。Double DQN 则先用当前网络挑选动作，再用目标网络计算价值，避免了单一网络同时负责选动作和评估动作价值所带来的偏差。Double DQN 是一种简单有效的改进策略，通过“动作选择”和“动作评估”分开估计，显著缓解了 Q 值过高估计问题，提高了深度强化学习算法的稳定性和性能，已成为深度强化学习领域的重要方法之一。
==6.DQN 的应用领域==
== 6.DQN 的应用领域==
===Atari 游戏中的应用与表现===
===Atari 游戏中的应用与表现===
===对连续动作空间的处理困难===
===对连续动作空间的处理困难===
===训练过程中的样本效率问题===
=== 训练过程中的样本效率问题===
===策略收敛速度慢与稳定性问题===
===策略收敛速度慢与稳定性问题===