更改

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

<math> \max_{a} Q(s_{t+1}, a; \theta^-) </math>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络<ref>Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double q-learning[C]//Proceedings of the AAAI conference on artificial intelligence. 2016, 30(1).</ref>。

<math> \max_{a} Q(s_t, a; \theta) </math>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络<ref>Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double q-learning[C]//Proceedings of the AAAI conference on artificial intelligence. 2016, 30(1).</ref>。

经典 DQN 的目标 Q 值计算公式为：

经典 DQN 的目标 Q 值计算公式为：