更改

===Atari 游戏中的应用与表现===

===Atari 游戏中的应用与表现===

<ref name="dqn"></ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。

<ref name="dqn"></ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。

[[文件:结果图.png|缩略图|性能表现，引自<ref name="dqn"></ref>]]<br>

[[文件:结果图.png|缩略图|性能表现，引自<ref name="dqn"></ref>|替代=|无]]

 

 

'''性能表现​​'''

'''性能表现​​'''

DQN在49款Atari 2600游戏上的测试结果，参见，引自<ref name="dqn"></ref>。其展现了突破性性能。在​​统一网络架构、算法和超参数​​的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到​​人类专业玩家水平的75%以上​​的游戏中占29款（超过总数半数）。典型案例如：

DQN在49款Atari 2600游戏上的测试结果，参见，引自<ref name="dqn"></ref>。其展现了突破性性能。在​​统一网络架构、算法和超参数​​的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到​​人类专业玩家水平的75%以上​​的游戏中占29款（超过总数半数）。典型案例如：

*'''Breakout'''中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。

*'''Breakout'''中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。

*'''Pong​​'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；

*'''Pong​​'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；

*'''Video Pinball​​'''更以42,684分（人类17,298分）达成2539%的人类水平，证明对复杂物理机制的高效利用。

*'''Video Pinball​​'''更以42,684分（人类17,298分）达成2539%的人类水平，证明对复杂物理机制的高效利用。

训练过程稳定性通过​​平均每局得分​​和​​预测Q值曲线​​得到验证，见图,[[文件:Q值训练.jpg|缩略图|预测Q值曲线，引自<ref name="dqn"></ref>]]<br>二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。

训练过程稳定性通过​​平均每局得分​​和​​预测Q值曲线​​得到验证，见图,[[文件:Q值训练.jpg|缩略图|预测Q值曲线，引自<ref name="dqn"></ref>|替代=|无]]<br>二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。

​​

​​

'''泛化与表征能力​​'''

'''泛化与表征能力​​'''

​​

​​

通过t-SNE降维可视化，DQN的最终隐藏层表征显示：

通过t-SNE降维可视化，DQN的最终隐藏层表征显示：

感知相似状态​​（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>

感知相似状态​​（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>|替代=|无]]

 

 

​奖励等价但感知不同状态​​（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。

​奖励等价但感知不同状态​​（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。

进一步实验表明，该表征可​​泛化至人类玩家产生的状态​​：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。

进一步实验表明，该表征可​​泛化至人类玩家产生的状态​​：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。

* 输入类型​​：包括RGB图像、深度图像、激光雷达点云等，用于感知环境状态。

* 输入类型​​：包括RGB图像、深度图像、激光雷达点云等，用于感知环境状态。

* 输出动作：离散动作空间（如前进、左转、右转），适用于导航和避障任务。

* 输出动作：离散动作空间（如前进、左转、右转），适用于导航和避障任务。

[[文件:应用于机器人路径规划.jpg|基于DQN的机器人控制与路径规划算法示意图，引自<ref name="robot"></ref>]]<br>

[[文件:应用于机器人路径规划.jpg|基于DQN的机器人控制与路径规划算法示意图，引自<ref name="robot"></ref>|替代=|600x600像素]]<br>

'''典型应用案例​​'''

'''典型应用案例​​'''

​​

​​

  | url    = https://arxiv.org/abs/2109.03540

  | url    = https://arxiv.org/abs/2109.03540

}}</ref>提供了强化学习在推荐系统中的应用，具体思路流程见右图所示。

}}</ref>提供了强化学习在推荐系统中的应用，具体思路流程见右图所示。

[[文件:基于强化学习的推荐系统.jpg|缩略图|基于强化学习的推荐系统，引自<ref name="recommand"></ref>]]<br>

[[文件:基于强化学习的推荐系统.jpg|缩略图|基于强化学习的推荐系统，引自<ref name="recommand"></ref>|替代=|无|500x500像素]]其中，深度Q网络（DQN）通过建模用户动态偏好和长期价值，解决了传统推荐系统面临的​​探索-利用困境​​和​​延迟奖励优化问题​​。其核心思想是将推荐视为序列决策过程：用户状态 <math>s_{t}</math>为历史交互特征，动作  <math>a_{t} </math>为待推荐物品，奖励  <math>r_{t} </math>为点击/转化等反馈。

其中，深度Q网络（DQN）通过建模用户动态偏好和长期价值，解决了传统推荐系统面临的​​探索-利用困境​​和​​延迟奖励优化问题​​。其核心思想是将推荐视为序列决策过程：用户状态 <math>s_{t}</math>为历史交互特征，动作  <math>a_{t} </math>为待推荐物品，奖励  <math>r_{t} </math>为点击/转化等反馈。

​​'''问题建模与优势​​'''

​​'''问题建模与优势​​'''

​​网络结构​​如右图所示。

​​网络结构​​如右图所示。

[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>

[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>|替代=|无|500x500像素]]<br>

==DQN 的局限性与挑战==

==DQN 的局限性与挑战==