更改

Deep Q Network (查看源代码)

2025年5月18日 (日) 08:24的版本

添加57字节、 2025年5月18日 (日) 08:24

无编辑摘要

第137行：第137行：

===马尔可夫决策过程（MDP）简介===

−

~~马尔可夫决策过程（Markov~~ Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。

+

[https://builtin.com/machine-learning/markov-decision-process? 马尔可夫决策过程]（Markov Decision Process，简称 MDP）是强化学习的核心数学框架，用于建模智能体在不确定环境中通过试错学习最优策略的过程。它在马尔可夫过程的基础上引入了“动作”和“奖励”机制，广泛应用于人工智能、控制系统、经济学等领域。

+

[[文件:马尔科夫决策过程示意图.png|缩略图|马尔可夫决策过程]]

====MDP 的核心思想====

−

在 MDP ~~中，智能体与环境的交互过程如下：~~

+

在 MDP 中，智能体与环境的[https://zhuanlan.zhihu.com/p/568155357 交互过程]如下：

(1)智能体观察当前状态 st。

第408行：第409行：

===Double DQN：解决 Q 值过高估计问题===

−

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即'''过高估计（overestimation bias）'''。这种偏差源自于最大化操作：

−

~~<nowiki><math> \max_{a} Q(s', a; \theta) </math></nowiki>~~

−

~~当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。~~

−

====Double DQN的思想====

−

~~为缓解过高估计问题，Double~~ Q-~~Learning（Van Hasselt, 2010）引入了动作选择和动作评估的分离：~~

+

[[文件:在DQN与Double DQN中使用目标网络的学习结构.png|缩略图|在DQN与Double DQN中使用目标网络的学习结构]]

−

+

在经典的 Q-Learning 及其深度版本 DQN（Deep Q-Network）中，动作值函数的估计存在系统性偏差，即过高估计（overestimation bias）。这种偏差源自于最大化操作：

−

~~动作选择使用当前~~ Q ~~网络参数选择动作；~~

−

~~动作评估使用目标网络参数计算该动作的~~ Q 值。

+

<nowiki><math> \max_{a} Q(s', a; \theta) </math></nowiki>。当估计的 Q 值存在噪声时，直接选取最大 Q 值动作容易导致期望的过高估计，从而影响策略的稳定性和最终性能。为了减少 DQN 中的 Q 值过高估计，Double DQN 引入了两个 Q 网络：当前 Q 网络和目标 Q 网络。目标 Q 值计算公式改为：

−

~~其目标值计算方式为：~~

−

~~<math> y^{DoubleQ}_t = r_t + \gamma Q(s_{t+1}, \arg\max_a Q(s_{t+1}, a; \theta_t); \theta_t^-) </math>~~

−

~~其中：θt是当前 Q 网络参数；~~

====Double DQN算法实现====

DeepQ

281

个编辑