Deep Q Network - 版本历史

相信未来：/* 参考文献 */

2025-08-14T02:01:53Z

参考文献

相信未来：/* 参考文献与延伸阅读 */

2025-08-14T02:01:27Z

参考文献与延伸阅读

2025年8月9日 (六) 03:11 念

2025-08-09T03:11:42Z

念：/* DQN 的主要改进算法 */

2025-07-27T09:27:40Z

DQN 的主要改进算法

念：/* Atari 游戏中的应用与表现 */

2025-07-27T09:27:14Z

Atari 游戏中的应用与表现

念：/* 机器人控制与路径规划 */

2025-07-27T09:26:51Z

机器人控制与路径规划

2025年7月27日 (日) 09:14 念

2025-07-27T09:14:32Z

显示更改

念：/* DQN 的提出及其在 Atari 游戏中的突破性成果 */

2025-07-27T08:56:45Z

DQN 的提出及其在 Atari 游戏中的突破性成果

念：/* DQN 的提出及其在 Atari 游戏中的突破性成果 */

2025-07-27T08:55:12Z

DQN 的提出及其在 Atari 游戏中的突破性成果

念：/* DQN 的提出及其在 Atari 游戏中的突破性成果 */

2025-07-27T08:54:12Z

DQN 的提出及其在 Atari 游戏中的突破性成果

←上一版本		2025年8月14日 (四) 02:01的版本
第783行：		第783行：


−	~~此词条由邹佳玮、罗福海编写，张江老师审校。~~	+	此词条由[[邹佳玮]]、[[罗福海]]编写，[[张江]]老师审校。

	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''		'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

←上一版本		2025年8月14日 (四) 02:01的版本
第778行：		第778行：


−	==~~参考文献与延伸阅读~~==	+	==参考文献==

	<references />		<references />

←上一版本		2025年8月9日 (六) 03:11的版本
第783行：		第783行：


−	~~此词条由邹佳玮、罗福海编写。~~	+	此词条由邹佳玮、罗福海编写，张江老师审校。

	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''		'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第609行： / 第609行： @@
 具体而言，网络的前几层共享，用于提取输入状态的特征；然后，网络分为两个分支：一个用于计算状态价值函数V(s)，另一个用于计算优势函数 A(s,a)。最后，两个分支的输出被合并，得到每个动作的 Q 值估计。这种结构使得网络能够更有效地学习到状态的价值和动作的优势，从而提高学习性能。
 ====Dueling DQN的优势====
@@ 第616行： / 第617行： @@
 （3）提升泛化能力：Dueling 架构允许网络在未见过的环境中更快地推断出合理的 Q 值，增强了算法的泛化能力。
 ===DRQN===

@@ 第667行： / 第667行： @@
 训练过程稳定性通过平均每局得分和预测Q值曲线得到验证，见图,[[文件:Q值训练.jpg|缩略图|预测Q值曲线，引自<ref name="dqn"></ref>|替代=|无]]<br>二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。
 '''泛化与表征能力'''
@@ 第687行： / 第686行： @@
 *'''Pong'''中，若球体接近球拍时选择"向下"动作，Q值实时降至-0.9，准确反映丢失球体的风险。
 这些结果证明，DQN通过端到端训练构建的表征能同时支持感知泛化与长期价值推理。
 ===机器人控制与路径规划===

@@ 第701行： / 第701行： @@
 Tai等人（2017）<ref>{{cite journal|last1=Tai|first1=Lei|last2=Paolo|first2=Giuseppe|last3=Liu|first3=Ming|title=Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation|journal=IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)|year=2017|pages=31-36|doi=10.1109/IROS.2017.8202134|publisher=IEEE}}</ref>：使用深度图像作为输入，训练轮式机器人在走廊环境中实现无地图导航，输出连续转向指令。
 Zhang等人（2020）<ref>{{cite journal| last1 = Wang| first1 = Y.| last2 = Sun| first2 = J.| last3 = He| first3 = H.| last4 = Sun| first4 = C.| title = Deterministic policy gradient with integral compensator for robust quadrotor control| journal = IEEE Transactions on Systems, Man, and Cybernetics: Systems| volume = 50| issue = 10| pages = 3713–3725| year = 2020| doi = 10.1109/TSMC.2020.3002218| publisher = IEEE}}</ref>：通过特征迁移策略，将仿真环境训练的DQN模型迁移至真实机器人，解决仿真到现实（Sim-to-Real）的泛化问题。
 Barron等人（2019）<ref> {{cite conference| last1 = Barron| first1 = T.| last2 = Whitehead| first2 = M.| last3 = Yeung| first3 = A.| title = Deep reinforcement learning in a 3-D blockworld environment| booktitle = Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI)| pages = 1–6| year = 2016| publisher = IJCAI/AAAI Press}}</ref>：在3D虚拟环境中，采用RGB图像输入训练机器人，在复杂自然场景中实现优于深度输入的导航性能。

@@ 第92行： / 第92行： @@
 ====模型的细节====
 该研究在模型设计上体现了显著的普适性特征，采用单一网络架构处理所有Atari游戏任务，仅需输入原始像素、动作空间和生命值等基本先验知识。在算法实现方面，创新性地引入了经验回放机制（experience replay），通过循环缓冲区存储历史转移样本<math>(s_{t}, a_{t}, r_{t}, s_{t+1})</math>，并采用均匀随机采样方式抽取小批量（minibatch size=32）进行训练。这种设计有效打破了数据间的时间相关性，显著提高了样本利用率和训练稳定性。
 在奖励函数设计方面，研究者采用了归一化处理策略，将正向奖励设为+1，负向奖励设为-1，其余情况为0，这种标准化方法有效控制了误差范围并实现了跨游戏的统一训练速度。经验回放机制与奖励归一化的协同作用，使得算法能够在不同游戏间保持一致的性能表现。
 针对大规模训练数据的高冗余特性，研究采用了'''[[RMSProp优化算法]]'''，其核心机制是通过将梯度除以其近期幅度的滑动平均值来调整学习率。训练过程中引入衰减系数<math>ϵ</math>，采用[[ϵ-greedy策略]]进行探索-利用权衡：在前1百万训练步中，<math>ϵ</math>值从1线性衰减至0.1，之后保持恒定。这种动态调整策略与经验回放机制相结合，有效避免了过早收敛问题，特别适合处理非平稳目标函数。值得注意的是，经验回放缓冲区的容量设置为1,000,000个样本，并在训练前预填充50,000帧数据以确保初始采样质量。
 为提高计算效率，研究者对所有游戏采用了跳帧技术（每4帧处理1帧），在保证性能无明显下降的前提下显著提升了训练速度。这种时间抽象方法与经验回放机制协同工作，使得样本复杂度相比在线策略降低了约10倍。实验结果表明，移除经验回放会导致性能下降58.7%，充分验证了该机制的必要性。这些创新设计共同构成了DQN算法的核心框架，为后续深度强化学习研究奠定了重要基础。

@@ 第75行： / 第75行： @@
 ===DQN 的提出及其在 Atari 游戏中的突破性成果===
 [[文件:Atari游戏之breakout.gif|缩略图|举例：Atari游戏之breakout，引自<ref name="dqn">{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]Deep Q-Network（DQN）是由DeepMind团队在2015年发表的论文<ref name="dqn"></ref>中提出的深度强化学习算法。该研究首次将深度神经网络与Q-learning结合，直接从高维感官输入（如Atari游戏的像素）学习控制策略，而无需手工设计特征。DQN在Atari 2600游戏上的表现达到或超越人类水平，标志着深度强化学习在复杂任务中的重大突破。
 DQN的核心创新包括使用深度[https://baike.baidu.com/item/卷积神经网络/17541100 卷积神经网络(CNN)]处理原始像素输入，模仿生物视觉系统的层次化特征提取能力。此外，为了解决传统强化学习在非线性函数逼近下的不稳定性，DQN引入了'''经验回放（Experience Replay)'''机制，通过存储并随机采样历史经验来打破数据相关性，提高训练稳定性。同时，采用目标网络分离技术，定期冻结目标Q网络的参数，减少训练过程中的波动。
 在实验中，DQN在49款Atari 2600游戏上进行测试，仅以游戏屏幕像素和分数作为输入，使用相同的网络架构和超参数。结果显示，DQN在43款游戏中超越了此前所有强化学习方法，并在29款游戏中达到人类专业测试员水平的75%以上。例如，在“Breakout”中，DQN自主发现“侧边挖隧道”的高分策略，最终得分远超人类玩家；在“Space Invaders”中，DQN学会忽略无关视觉特征，专注于关键状态价值预测。
 DQN的成功不仅验证了端到端强化学习的可行性，还揭示了深度神经网络与生物学习机制的相似性，如经验回放与海马体记忆重放的类比。然而，DQN仍存在训练数据需求大、对超长程规划任务（如“Montezuma’s Revenge”表现有限等挑战。尽管如此，DQN为后续深度强化学习研究奠定了基础，推动了从游戏AI到机器人控制等领域的广泛应用。
@@ 第99行： / 第102行： @@
 ====具体算法及其训练流程====
 [[文件:Algorithmdqn.jpg|缩略图|算法流程，引自<ref name="dqn"></ref>|替代=|500x500像素]]
-[[文件:Dqn算法流程.jpg|缩略图|算法流程示意图，引自<ref name="dqn"></ref>|替代=|500x500像素]]1. 初始化阶段
+[[文件:Dqn算法流程.jpg|缩略图|算法流程示意图，引自<ref name="dqn"></ref>|替代=|500x500像素]]
 *回放记忆库(Replay Memory)：创建容量为<math>N</math>的经验存储库<math>D</math>，用于缓存历史转移数据。
 *动作-价值函数网络：
@@ 第105行： / 第110行： @@
 **目标网络<math>Q^{-}</math>：初始参数<math>θ^{-}</math>，用于稳定化计算目标Q值。
 **超参数设定：设置训练总回合数M、单回合最大步数T、目标网络同步频率<math>C</math>、折扣因子<math>γ</math>、探索率<math>ϵ</math>等。
 . 回合（Episode）循环
 对每个回合episode=1,2,...,<math>M</math>执行：
 状态预处理：初始化环境观测<math>x_{1}</math>,通过预处理函数<math>ϕ</math>生成初始状态表征<math>ϕ_{1}=ϕ(s_{1})</math>。
 . 时间步（Timestep）循环