更改

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

<nowiki><math> \max_{a} Q(s', a; \theta) </math></nowiki>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络。目标 Q 值计算公式改为：

<nowiki><math> \max_{a} Q(s', a; \theta) </math></nowiki>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络。

 

经典 DQN 的目标 Q 值计算公式为：