761
个编辑
更改
→DRQN的优势与局限
DRQN 的网络结构通常包括以下几个部分：
DRQN 的网络结构通常包括以下几个部分：
（1）卷积层（Convolutional Layers）：用于从输入图像中提取特征。
（1）卷积层（Convolutional Layers）：用于从输入图像中提取特征。
（2）LSTM 层：用于处理时间序列数据，保留历史信息。
（2）LSTM 层：用于处理时间序列数据，保留历史信息。
（3）全连接层（Fully Connected Layer）：用于输出每个动作的 Q 值。
（3）全连接层（Fully Connected Layer）：用于输出每个动作的 Q 值。
这种结构使得 DRQN 能够在每个时间步都考虑到历史信息，从而更好地应对部分[https://marl-ieee-nitk.github.io/deep-reinforcement-learning/2019/01/06/DRQN.html? 可观察的环境]。
这种结构使得 DRQN 能够在每个时间步都考虑到历史信息，从而更好地应对部分[https://marl-ieee-nitk.github.io/deep-reinforcement-learning/2019/01/06/DRQN.html? 可观察的环境]。
（1）处理部分可观察环境：DRQN 能够在每个时间步都保留历史信息，从而在部分可观察的环境中表现出更好的性能。
（1）处理部分可观察环境：DRQN 能够在每个时间步都保留历史信息，从而在部分可观察的环境中表现出更好的性能。
（2）提高决策质量：通过引入 LSTM 层，DRQN 能够更好地捕捉时间序列中的长期依赖关系，从而提高决策质量。
（2）提高决策质量：通过引入 LSTM 层，DRQN 能够更好地捕捉时间序列中的长期依赖关系，从而提高决策质量。
（3）适应性强：DRQN 可以适应不同的环境和任务，具有较强的泛化能力。
（3）适应性强：DRQN 可以适应不同的环境和任务，具有较强的泛化能力。
（1）训练难度：由于引入了 LSTM 层，DRQN 的训练过程可能比传统 DQN 更加复杂和困难。
（1）训练难度：由于引入了 LSTM 层，DRQN 的训练过程可能比传统 DQN 更加复杂和困难。
（2）计算资源需求高：LSTM 层的引入增加了计算量，对硬件资源的要求更高。
（2）计算资源需求高：LSTM 层的引入增加了计算量，对硬件资源的要求更高。
（3）超参数调优复杂：LSTM 层引入了更多的超参数，需要进行精细的调优。
（3）超参数调优复杂：LSTM 层引入了更多的超参数，需要进行精细的调优。
'''泛化与表征能力'''
'''泛化与表征能力'''
DQN的核心突破在于其从高维输入中学习通用表征的能力。
DQN的核心突破在于其从高维输入中学习通用表征的能力。
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>
*'''室内导航与避障'''：
*'''室内导航与避障'''：
Tai等人（2017）<ref>{{cite journal|last1=Tai|first1=Lei|last2=Paolo|first2=Giuseppe|last3=Liu|first3=Ming|title=Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation|journal=IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)|year=2017|pages=31-36|doi=10.1109/IROS.2017.8202134|publisher=IEEE}}</ref>：使用深度图像作为输入，训练轮式机器人在走廊环境中实现无地图导航，输出连续转向指令。
Tai等人（2017）<ref>{{cite journal|last1=Tai|first1=Lei|last2=Paolo|first2=Giuseppe|last3=Liu|first3=Ming|title=Virtual-to-real deep reinforcement learning: Continuous control of mobile robots for mapless navigation|journal=IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)|year=2017|pages=31-36|doi=10.1109/IROS.2017.8202134|publisher=IEEE}}</ref>：使用深度图像作为输入，训练轮式机器人在走廊环境中实现无地图导航，输出连续转向指令。
Zhang等人（2020）<ref>{{cite journal| last1 = Wang| first1 = Y.| last2 = Sun| first2 = J.| last3 = He| first3 = H.| last4 = Sun| first4 = C.| title = Deterministic policy gradient with integral compensator for robust quadrotor control| journal = IEEE Transactions on Systems, Man, and Cybernetics: Systems| volume = 50| issue = 10| pages = 3713–3725| year = 2020| doi = 10.1109/TSMC.2020.3002218| publisher = IEEE}}</ref>：通过特征迁移策略，将仿真环境训练的DQN模型迁移至真实机器人，解决仿真到现实（Sim-to-Real）的泛化问题。
Zhang等人（2020）<ref>{{cite journal| last1 = Wang| first1 = Y.| last2 = Sun| first2 = J.| last3 = He| first3 = H.| last4 = Sun| first4 = C.| title = Deterministic policy gradient with integral compensator for robust quadrotor control| journal = IEEE Transactions on Systems, Man, and Cybernetics: Systems| volume = 50| issue = 10| pages = 3713–3725| year = 2020| doi = 10.1109/TSMC.2020.3002218| publisher = IEEE}}</ref>：通过特征迁移策略，将仿真环境训练的DQN模型迁移至真实机器人，解决仿真到现实（Sim-to-Real）的泛化问题。
Barron等人（2019）<ref> {{cite conference| last1 = Barron| first1 = T.| last2 = Whitehead| first2 = M.| last3 = Yeung| first3 = A.| title = Deep reinforcement learning in a 3-D blockworld environment| booktitle = Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI)| pages = 1–6| year = 2016| publisher = IJCAI/AAAI Press}}</ref>：在3D虚拟环境中，采用RGB图像输入训练机器人，在复杂自然场景中实现优于深度输入的导航性能。
Barron等人（2019）<ref> {{cite conference| last1 = Barron| first1 = T.| last2 = Whitehead| first2 = M.| last3 = Yeung| first3 = A.| title = Deep reinforcement learning in a 3-D blockworld environment| booktitle = Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI)| pages = 1–6| year = 2016| publisher = IJCAI/AAAI Press}}</ref>：在3D虚拟环境中，采用RGB图像输入训练机器人，在复杂自然场景中实现优于深度输入的导航性能。
'''问题建模与优势'''
'''问题建模与优势'''
动态偏好捕捉（vs. 静态协同过滤）：
动态偏好捕捉（vs. 静态协同过滤）：
DQN通过时序状态转移（s<sub>t</sub>→s<sub>t+1</sub>）实时更新用户兴趣表征，克服协同过滤的静态建模局限。
DQN通过时序状态转移（s<sub>t</sub>→s<sub>t+1</sub>）实时更新用户兴趣表征，克服协同过滤的静态建模局限。
长期价值优化（vs. 即时收益模型）：最大化累计奖励 R<sub>t</sub>=∑ γ<sup>k</sup> r <sub>t+k</sub>，避免短视策略（如仅推荐热门商品）。
长期价值优化（vs. 即时收益模型）：最大化累计奖励 R<sub>t</sub>=∑ γ<sup>k</sup> r <sub>t+k</sub>，避免短视策略（如仅推荐热门商品）。
探索机制：ε-greedy策略主动推荐低曝光商品，缓解冷启动问题。
探索机制：ε-greedy策略主动推荐低曝光商品，缓解冷启动问题。
'''技术实现架构'''
'''技术实现架构'''
状态表征：用户画像（性别/年龄） + 行为序列（点击/购买历史） → 嵌入层 → LSTM编码 → 状态向量 s<sub>t</sub>。
状态表征：用户画像（性别/年龄） + 行为序列（点击/购买历史） → 嵌入层 → LSTM编码 → 状态向量 s<sub>t</sub>。
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
网络结构如右图所示。
网络结构如右图所示。
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>