281
个编辑
更改
跳到导航
跳到搜索
第616行：
第616行： − +
→DQN 的应用领域
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
通过t-SNE降维可视化，DQN的最终隐藏层表征显示：
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|缩略图|人类表征对比，引自<ref name="dqn"></ref>]]<br>
感知相似状态（如敌机密集排列的屏幕）被映射到嵌入空间的相邻位置，见图;[[文件:人类表征对比.jpg|人类表征对比，引自<ref name="dqn"></ref>]]<br>
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
奖励等价但感知不同状态（如游戏末尾阶段的掩体场景）同样被聚类——这些状态因即时奖励潜力低被赋予相似价值（V值），证明网络超越了表层像素特征，学会了与决策相关的抽象特征。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。
进一步实验表明，该表征可泛化至人类玩家产生的状态：将人类30分钟游戏数据输入DQN网络，其t-SNE嵌入与智能体自身2小时游戏数据的嵌入结构高度重叠，证明表征不受策略依赖性的限制。