281
个编辑
更改
跳到导航
跳到搜索
第595行：
第595行： − + − + 第640行：
第640行： − + 第651行：
第651行： − 网络结构如右图所示+ − 。
→DQN 的应用领域
*'''Pong'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；
*'''Pong'''以18.9分（人类9.3分）实现132%的人类水平，动作价值预测精准；
*'''Video Pinball'''更以42,684分（人类17,298分）达成2539%的人类水平，证明对复杂物理机制的高效利用。
*'''Video Pinball'''更以42,684分（人类17,298分）达成2539%的人类水平，证明对复杂物理机制的高效利用。
训练过程稳定性通过平均每局得分和预测Q值曲线得到验证，见图[[文件:Q值训练.jpg|缩略图|预测Q值曲线，引自<ref name="dqn"></ref>]]<br>，二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。
训练过程稳定性通过平均每局得分和预测Q值曲线得到验证，见图,[[文件:Q值训练.jpg|缩略图|预测Q值曲线，引自<ref name="dqn"></ref>]]<br>二者均随训练稳步上升，未出现传统Q学习的发散现象。奖励裁剪策略（正奖励+1，负奖励-1）则确保了不同游戏间学习率的一致性。
'''泛化与表征能力'''
'''泛化与表征能力'''
DQN的核心突破在于其从高维输入中学习通用表征的能力。
DQN的核心突破在于其从高维输入中学习通用表征的能力。
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>；
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。
| url = https://arxiv.org/abs/2109.03540
| url = https://arxiv.org/abs/2109.03540
}}</ref>提供了强化学习在推荐系统中的应用，具体思路流程见右图所示。
}}</ref>提供了强化学习在推荐系统中的应用，具体思路流程见右图所示。
[[文件:基于强化学习的推荐系统.jpg|缩略图|基于强化学习的推荐系统]]
[[文件:基于强化学习的推荐系统.jpg|缩略图|基于强化学习的推荐系统，引自<ref name="recommand"></ref>]]<br>
其中，深度Q网络（DQN）通过建模用户动态偏好和长期价值，解决了传统推荐系统面临的探索-利用困境和延迟奖励优化问题。其核心思想是将推荐视为序列决策过程：用户状态 s<sub>t</sub> 为历史交互特征，动作 a<sub>t</sub>为待推荐物品，奖励 r<sub>t</sub>为点击/转化等反馈。
其中，深度Q网络（DQN）通过建模用户动态偏好和长期价值，解决了传统推荐系统面临的探索-利用困境和延迟奖励优化问题。其核心思想是将推荐视为序列决策过程：用户状态 s<sub>t</sub> 为历史交互特征，动作 a<sub>t</sub>为待推荐物品，奖励 r<sub>t</sub>为点击/转化等反馈。
状态表征：用户画像（性别/年龄） + 行为序列（点击/购买历史） → 嵌入层 → LSTM编码 → 状态向量 s<sub>t</sub>。
状态表征：用户画像（性别/年龄） + 行为序列（点击/购买历史） → 嵌入层 → LSTM编码 → 状态向量 s<sub>t</sub>。
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
动作空间：离散候选物品集 {a<sub>1</sub>,a<sub>2</sub>,...,a<sub>N</sub>}（N=千至百万级）。
网络结构如右图所示。
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>
[[文件:基于dqn的推荐系统算法.jpg|缩略图|基于dqn的推荐系统算法，引自<ref name="recommand"></ref>]]<br>
==DQN 的局限性与挑战==
==DQN 的局限性与挑战==