281
个编辑
更改
→DQN 的应用领域
无人机控制：
无人机控制：
Kang等人（2019）<ref>{{cite journal|last1=Kang|first1=Kyunghoon|last2=Belkhale|first2=Suneel|last3=Kahn|first3=Gregory|last4=Abbeel|first4=Pieter|last5=Levine|first5=Sergey|title=Generalization through simulation: Integrating simulated and real data into deep reinforcement learning for vision-based autonomous flight|journal=IEEE International Conference on Robotics and Automation (ICRA)|year=2019|pages=6008-6014|doi=10.1109/ICRA.2019.8793701|publisher=IEEE}}</ref>：仅用单目视觉输入，训练四旋翼无人机在真实环境中实现动态避障。
Kang等人（2019）<ref>{{cite journal|last1=Kang|first1=Kyunghoon|last2=Belkhale|first2=Suneel|last3=Kahn|first3=Gregory|last4=Abbeel|first4=Pieter|last5=Levine|first5=Sergey|title=Generalization through simulation: Integrating simulated and real data into deep reinforcement learning for vision-based autonomous flight|journal=IEEE International Conference on Robotics and Automation (ICRA)|year=2019|pages=6008-6014|doi=10.1109/ICRA.2019.8793701|publisher=IEEE}}</ref>：仅用单目视觉输入，训练四旋翼无人机在真实环境中实现动态避障。
当然也存在一些局限性，比如DQN 仅支持离散动作，无法直接应用于连续控制（如无人机精细姿态调整），需依赖DDPG等算法补充。训练需大量交互数据，现实场景中数据采集成本高。稀疏奖励环境下（如目标距离远），学习效率下降。就是DQN 通过端到端学习与经验回放机制，在移动机器人视觉导航、室内避障及无人机控制中取得显著成果。其核心价值在于处理高维感知数据的能力和算法稳定性，但需结合改进技术（如Double DQN、Rainbow）以提升性能。未来研究需解决连续动作支持与样本效率问题，以扩大应用场景。
===推荐系统中的策略优化===
===推荐系统中的策略优化===
深度Q网络（DQN）通过建模用户动态偏好和长期价值，解决了传统推荐系统面临的探索-利用困境和延迟奖励优化问题。其核心思想是将推荐视为序列决策过程：用户状态 s_t 为历史交互特征，动作 a_t为待推荐物品，奖励 r_t为点击/转化等反馈。
1. 问题建模与优势
动态偏好捕捉（vs. 静态协同过滤）：
DQN通过时序状态转移（s_t→s_t+1）实时更新用户兴趣表征，克服协同过滤的静态建模局限。
长期价值优化（vs. 即时收益模型）：最大化累计奖励 R_t=∑γ kr t+k，避免短视策略（如仅推荐热门商品）。
探索机制：ε-greedy策略主动推荐低曝光商品，缓解冷启动问题。
2. 技术实现架构
状态表征：用户画像（性别/年龄） + 行为序列（点击/购买历史） → 嵌入层 → LSTM编码 → 状态向量 s_t。
动作空间：离散候选物品集 {a1,a2,...,aN}（N=千至百万级）。
网络结构（见图）：
==DQN 的局限性与挑战==
==DQN 的局限性与挑战==