281
个编辑
更改
跳到导航
跳到搜索
第75行：
第75行： − − DQN的核心创新包括使用深度卷积神经网络（CNN）处理原始像素输入，模仿生物视觉系统的层次化特征提取能力。此外，为了解决传统强化学习在非线性函数逼近下的不稳定性，DQN引入了经验回放（Experience Replay)机制，通过存储并随机采样历史经验来打破数据相关性，提高训练稳定性。同时，采用目标网络分离技术，定期冻结目标Q网络的参数，减少训练过程中的波动。 + 第86行：
第85行： − + 第99行：
第98行： − + − +
→DQN 的提出及其在 Atari 游戏中的突破性成果
===DQN 的提出及其在 Atari 游戏中的突破性成果===
===DQN 的提出及其在 Atari 游戏中的突破性成果===
[[文件:Atari游戏之breakout.gif|缩略图|举例：Atari游戏之breakout，引自<ref name="dqn">{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]<br>
[[文件:Atari游戏之breakout.gif|缩略图|举例：Atari游戏之breakout，引自<ref name="dqn">{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]<br>
Deep Q-Network（DQN）是由DeepMind团队在2015年发表的论文<ref name="dqn"></ref>中提出的深度强化学习算法。该研究首次将深度神经网络与Q-learning结合，直接从高维感官输入（如Atari游戏的像素）学习控制策略，而无需手工设计特征。DQN在Atari 2600游戏上的表现达到或超越人类水平，标志着深度强化学习在复杂任务中的重大突破。
Deep Q-Network（DQN）是由DeepMind团队在2015年发表的论文<ref name="dqn"></ref>中提出的深度强化学习算法。该研究首次将深度神经网络与Q-learning结合，直接从高维感官输入（如Atari游戏的像素）学习控制策略，而无需手工设计特征。DQN在Atari 2600游戏上的表现达到或超越人类水平，标志着深度强化学习在复杂任务中的重大突破。
DQN的核心创新包括使用[[深度卷积神经网络(CNN)]]处理原始像素输入，模仿生物视觉系统的层次化特征提取能力。此外，为了解决传统强化学习在非线性函数逼近下的不稳定性，DQN引入了经验回放（Experience Replay)机制，通过存储并随机采样历史经验来打破数据相关性，提高训练稳定性。同时，采用目标网络分离技术，定期冻结目标Q网络的参数，减少训练过程中的波动。
在实验中，DQN在49款Atari 2600游戏上进行测试，仅以游戏屏幕像素和分数作为输入，使用相同的网络架构和超参数。结果显示，DQN在43款游戏中超越了此前所有强化学习方法，并在29款游戏中达到人类专业测试员水平的75%以上。例如，在“Breakout”中，DQN自主发现“侧边挖隧道”的高分策略，最终得分远超人类玩家；在“Space Invaders”中，DQN学会忽略无关视觉特征，专注于关键状态价值预测。
在实验中，DQN在49款Atari 2600游戏上进行测试，仅以游戏屏幕像素和分数作为输入，使用相同的网络架构和超参数。结果显示，DQN在43款游戏中超越了此前所有强化学习方法，并在29款游戏中达到人类专业测试员水平的75%以上。例如，在“Breakout”中，DQN自主发现“侧边挖隧道”的高分策略，最终得分远超人类玩家；在“Space Invaders”中，DQN学会忽略无关视觉特征，专注于关键状态价值预测。
====提出的模型====
====提出的模型====
[[文件:WechatIMG402.jpg|缩略图|模型示意图，引自<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]<br>
[[文件:WechatIMG402.jpg|缩略图|模型示意图，引自<ref name="dqn"></ref>]]<br>
该示意图展示了深度Q网络（DQN）的典型架构设计，直观呈现了从原始游戏画面到控制指令的端到端处理流程。系统采用多级特征提取架构，左侧输入层接收预处理后的游戏画面（84×84像素，4帧堆叠），通过两个卷积层（Convolution）进行空间特征提取，其中网格状结构表示卷积核在空间维度上的特征映射过程。随后经由两个全连接层（Fully connected）实现高级特征的抽象与组合，最终输出层与游戏手柄控制指令直接关联，作为根据学到的动作价值Q来选择动作。该架构设计充分体现了DQN直接从原始像素学习控制策略的核心思想，通过卷积神经网络的特征提取能力与强化学习的决策机制相结合，实现了从感知到行动的完整映射。
该示意图展示了深度Q网络（DQN）的典型架构设计，直观呈现了从原始游戏画面到控制指令的端到端处理流程。系统采用多级特征提取架构，左侧输入层接收预处理后的游戏画面（84×84像素，4帧堆叠），通过两个卷积层（Convolution）进行空间特征提取，其中网格状结构表示卷积核在空间维度上的特征映射过程。随后经由两个全连接层（Fully connected）实现高级特征的抽象与组合，最终输出层与游戏手柄控制指令直接关联，作为根据学到的动作价值Q来选择动作。该架构设计充分体现了DQN直接从原始像素学习控制策略的核心思想，通过卷积神经网络的特征提取能力与强化学习的决策机制相结合，实现了从感知到行动的完整映射。
====具体算法及其训练流程====
====具体算法及其训练流程====
[[文件:Algorithmdqn.jpg|缩略图|算法流程，引自<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]<br>
[[文件:Algorithmdqn.jpg|缩略图|算法流程，引自<ref name="dqn"></ref>]]<br>
[[文件:Dqn算法流程.jpg|缩略图|算法流程示意图，引自<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>]]<br>
[[文件:Dqn算法流程.jpg|缩略图|算法流程示意图，引自<ref name="dqn"></ref>]]<br>
1. 初始化阶段
1. 初始化阶段
*回放记忆库(Replay Memory)：创建容量为N的经验存储库D，用于缓存历史转移数据。
*回放记忆库(Replay Memory)：创建容量为N的经验存储库D，用于缓存历史转移数据。