281
个编辑
更改
无编辑摘要
<math> Q(s, a) = V(s) + A(s, a) </math>
<math> Q(s, a) = V(s) + A(s, a) </math>
其中，V(s) 是状态s的价值，表示在该状态下智能体的期望回报；A(s,a) 是动作a相对于当前状态的优势，表示在该状态下采取动作a相对于其他动作的优势程度。
其中，V(s) 是状态s的价值，表示在该状态下智能体的期望回报；A(s,a) 是动作a相对于当前状态的优势，表示在该状态下采取动作a相对于其他动作的优势程度。
[[文件:Dueling DQN 网络结构示意图.png|缩略图|Dueling DQN 网络结构示意图]]
Dueling DQN 的网络结构在传统 DQN 的基础上进行了修改。
具体而言，网络的前几层共享，用于提取输入状态的特征；然后，网络分为两个分支：一个用于计算状态价值函数V(s)，另一个用于计算优势函数 A(s,a)。最后，两个分支的输出被合并，得到每个动作的 Q 值估计。这种结构使得网络能够更有效地学习到状态的价值和动作的优势，从而提高学习性能。
====Dueling DQN的优势====
====Dueling DQN的优势====
===DRQN===
===DRQN===
====DRQN的思想====
[[文件:DRQN架构.png|缩略图|DRQN架构]]
Deep Recurrent Q-Network（DRQN）是对经典 DQN 的一种扩展，旨在解决部分可观察马尔可夫决策过程（POMDP）中的挑战<ref>Hausknecht M J, Stone P. Deep Recurrent Q-Learning for Partially Observable MDPs[C]//AAAI fall symposia. 2015, 45: 141.</ref>。在 POMDP 中，智能体无法获得完整的环境状态信息，传统的 DQN 依赖于完整的观察序列进行决策，可能导致性能下降。DRQN 通过引入递归神经网络（RNN），特别是长短期记忆（LSTM）网络，使智能体能够处理部分观察信息，保留历史信息，从而在部分可观察的环境中表现出更好的性能。DRQN 的核心思想是将传统 DQN 的全连接层替换为 LSTM 层，以便在每个时间步都能保留历史信息。具体而言，DRQN 的 Q 值计算公式为：<math> Q(s_t, a_t) = \text{LSTM}(h_{t-1}, [\phi(s_t), a_t]) </math>
其中，<math> h_{t-1} </math> 是上一时间步的隐藏状态，<math> \phi(s_t) </math> 是当前状态的特征表示，<math> a_t </math> 是当前动作。通过这种方式，DRQN 能够在每个时间步都考虑到历史信息，从而更好地应对部分可观察的环境。
DRQN 的网络结构通常包括以下几个部分：
（1）卷积层（Convolutional Layers）：用于从输入图像中提取特征。
（2）LSTM 层：用于处理时间序列数据，保留历史信息。
（3）全连接层（Fully Connected Layer）：用于输出每个动作的 Q 值。
这种结构使得 DRQN 能够在每个时间步都考虑到历史信息，从而更好地应对部分[https://marl-ieee-nitk.github.io/deep-reinforcement-learning/2019/01/06/DRQN.html? 可观察的环境]。
====DRQN的优势与局限====
1.优势
（1）处理部分可观察环境：DRQN 能够在每个时间步都保留历史信息，从而在部分可观察的环境中表现出更好的性能。
（2）提高决策质量：通过引入 LSTM 层，DRQN 能够更好地捕捉时间序列中的长期依赖关系，从而提高决策质量。
（3）适应性强：DRQN 可以适应不同的环境和任务，具有较强的泛化能力。
2.局限
（1）训练难度：由于引入了 LSTM 层，DRQN 的训练过程可能比传统 DQN 更加复杂和困难。
（2）计算资源需求高：LSTM 层的引入增加了计算量，对硬件资源的要求更高。
（3）超参数调优复杂：LSTM 层引入了更多的超参数，需要进行精细的调优。
==6.DQN 的应用领域==
==6.DQN 的应用领域==