更改

Deep Q Network (查看源代码)

2025年6月16日 (一) 20:26的版本

删除6字节、 2025年6月16日 (一) 20:26

无编辑摘要

第524行：第524行：

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

−

<math> \max_{a} Q(~~s_{t+1}~~, a; \theta^-) </math>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络<ref>Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double q-learning[C]//Proceedings of the AAAI conference on artificial intelligence. 2016, 30(1).</ref>。

+

<math> \max_{a} Q(s_t, a; \theta) </math>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络<ref>Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double q-learning[C]//Proceedings of the AAAI conference on artificial intelligence. 2016, 30(1).</ref>。

经典 DQN 的目标 Q 值计算公式为：

DeepQ

281

个编辑