更改

<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。

<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。

[[文件:结果图.png|缩略图|居中]]

[[文件:结果图.png|缩略图|居中]]

*性能表现​​*

*性能表现​​

DQN在49款Atari 2600游戏上的测试结果，参见<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>。其展现了突破性性能。在​​统一网络架构、算法和超参数​​的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到​​人类专业玩家水平的75%以上​​的游戏中占29款（超过总数半数）。典型案例如：

DQN在49款Atari 2600游戏上的测试结果，参见<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>。其展现了突破性性能。在​​统一网络架构、算法和超参数​​的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到​​人类专业玩家水平的75%以上​​的游戏中占29款（超过总数半数）。典型案例如：

​​**Breakout**​​中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。

​​**Breakout**​​中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。

训练过程稳定性通过​​平均每局得分​​和​​预测Q值曲线​​得到验证，见图[[文件:Q值训练.jpg|缩略图|预测Q值曲线]]，二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。

训练过程稳定性通过​​平均每局得分​​和​​预测Q值曲线​​得到验证，见图[[文件:Q值训练.jpg|缩略图|预测Q值曲线]]，二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。

​​

​​

*泛化与表征能力​​*

*泛化与表征能力​​

DQN的核心突破在于其​​从高维输入中学习通用表征的能力​​。

DQN的核心突破在于其​​从高维输入中学习通用表征的能力​​。

通过t-SNE降维可视化，DQN的最终隐藏层表征显示：

通过t-SNE降维可视化，DQN的最终隐藏层表征显示：

进一步实验表明，该表征可​​泛化至人类玩家产生的状态​​：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。

进一步实验表明，该表征可​​泛化至人类玩家产生的状态​​：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。

*价值函数的预测能力通过具体案例得到验证：*

*价值函数的预测能力通过具体案例得到验证：

**Breakout​​**中，当智能体即将"挖通"砖墙时，Q值跃升至23，预示后续自动清屏的高收益；

**Breakout​​**中，当智能体即将"挖通"砖墙时，Q值跃升至23，预示后续自动清屏的高收益；

**Pong**​​中，若球体接近球拍时选择"向下"动作，Q值实时降至-0.9，准确反映丢失球体的风险。

**Pong**​​中，若球体接近球拍时选择"向下"动作，Q值实时降至-0.9，准确反映丢失球体的风险。