281
个编辑
更改
跳到导航
跳到搜索
第588行：
第588行： − + − + − + 第600行：
第600行： − + 第611行：
第611行： − + − + 第631行：
第631行： − + 第652行：
第652行： − +
→DQN 的应用领域
===Atari 游戏中的应用与表现===
===Atari 游戏中的应用与表现===
<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。
<ref name="dqn"></ref>的作者在 49 款 Atria 游戏上进行测试，大多数达到了人类水平，并且有 43 款达到了 SOTA（最先进水平State-Of-The-Art）。图中 100% 和 0% 分别代表人类水平和随机策略水平。
[[文件:结果图.png|缩略图|性能表现]]
[[文件:结果图.png|缩略图|性能表现，引自<ref name="dqn"></ref>]]<br>
'''性能表现'''
'''性能表现'''
DQN在49款Atari 2600游戏上的测试结果，参见<ref>{{cite journal|last=Mnih|first=V.|last2=Kavukcuoglu|first2=K.|title=Human-level control through deep reinforcement learning|journal=Nature|year=2015|volume=518|pages=529–533|issue=7540|doi=10.1038/nature14236|pmid=25719670}}</ref>。其展现了突破性性能。在统一网络架构、算法和超参数的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到人类专业玩家水平的75%以上的游戏中占29款（超过总数半数）。典型案例如：
DQN在49款Atari 2600游戏上的测试结果，参见，引自<ref name="dqn"></ref>。其展现了突破性性能。在统一网络架构、算法和超参数的前提下，仅以原始像素和游戏分数为输入，DQN在43款游戏中超越了此前所有强化学习算法（如线性函数逼近和SARSA）。更显著的是，其表现达到人类专业玩家水平的75%以上的游戏中占29款（超过总数半数）。典型案例如：
*'''Breakout'''中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。
*'''Breakout'''中，DQN得分达401.2（随机策略为1.7，人类为31.8），相当于人类水平的1327%。其成功源于自主学会"挖隧道"策略：优先击碎侧边砖块，引导球体从后方破坏整列砖块。
*'''Pong'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；
*'''Pong'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；
DQN的核心突破在于其从高维输入中学习通用表征的能力。
DQN的核心突破在于其从高维输入中学习通用表征的能力。
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图[[文件:人类表征对比.jpg|缩略图]]；
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图[[文件:人类表征对比.jpg|缩略图，引自<ref name="dqn"></ref>]]<br>；
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。
===机器人控制与路径规划===
===机器人控制与路径规划===
[[文件:DQN与传统路径规划算法的对比.jpg|缩略图|DQN与传统路径规划算法的对比]]
[[文件:DQN与传统路径规划算法的对比.jpg|缩略图|DQN与传统路径规划算法的对比]]
参考综述<ref>{{cite journal|last1=Sun|first1=Huihui|last2=Zhang|first2=Weijie|last3=Yu|first3=Runxiang|last4=Zhang|first4=Yujie|title=Motion planning for mobile robots—Focusing on deep reinforcement learning: A systematic review|journal=IEEE Access|year=2021|volume=9|pages=69061–69081|doi=10.1109/ACCESS.2021.3076530|publisher=IEEE}}</ref>这些方法都是使用DQN直接从原始传感器数据映射到动作，无需依赖预先构建的环境模型或先验知识。
参考综述<ref name="robot">{{cite journal|last1=Sun|first1=Huihui|last2=Zhang|first2=Weijie|last3=Yu|first3=Runxiang|last4=Zhang|first4=Yujie|title=Motion planning for mobile robots—Focusing on deep reinforcement learning: A systematic review|journal=IEEE Access|year=2021|volume=9|pages=69061–69081|doi=10.1109/ACCESS.2021.3076530|publisher=IEEE}}</ref>这些方法都是使用DQN直接从原始传感器数据映射到动作，无需依赖预先构建的环境模型或先验知识。
* 输入类型：包括RGB图像、深度图像、激光雷达点云等，用于感知环境状态。
* 输入类型：包括RGB图像、深度图像、激光雷达点云等，用于感知环境状态。
* 输出动作：离散动作空间（如前进、左转、右转），适用于导航和避障任务。
* 输出动作：离散动作空间（如前进、左转、右转），适用于导航和避障任务。
[[文件:应用于机器人路径规划.jpg|缩略图|基于DQN的机器人控制与路径规划算法示意图]]
[[文件:应用于机器人路径规划.jpg|缩略图|基于DQN的机器人控制与路径规划算法示意图，引自<ref name="robot"></ref>]]<br>
'''典型应用案例'''
'''典型应用案例'''
===推荐系统中的策略优化===
===推荐系统中的策略优化===
文章<ref>{{cite journal
文章<ref name="recommand">{{cite journal
| author = {Chen, Xiaocong and Yao, Lina and McAuley, Julian and Zhou, Guanglin and Wang, Xianzhi}
| author = {Chen, Xiaocong and Yao, Lina and McAuley, Julian and Zhou, Guanglin and Wang, Xianzhi}
| year = 2021
| year = 2021
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
网络结构如右图所示
网络结构如右图所示
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法]]
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>
。
。