281
个编辑
更改
→DQN 的核心思想与结构
'''核心意义'''：
'''核心意义'''：
*'''端到端学习'''：直接从原始状态（如像素）映射到动作价值，无需手工设计特征。
*'''端到端学习'''：直接从原始状态（如像素）映射到动作价值，无需手工设计特征。
*'''泛化能力'''：相似状态共享神经网络的特征表示，提升样本利用率。
*'''高维处理'''：卷积神经网络（CNN）可高效提取图像中的空间特征。
===经验回放（Experience Replay）机制===
===经验回放（Experience Replay）机制===
工程中，使用随机梯度下降来完成优化，另外当令 <math> θ_{i}^{−} = θ_{i−1} </math>时，退化为原始的 Q-Learning 更新形式。
工程中，使用随机梯度下降来完成优化，另外当令 <math> θ_{i}^{−} = θ_{i−1} </math>时，退化为原始的 Q-Learning 更新形式。
DQN的训练与参数更新策略可部分参考以下代码实现：
<syntaxhighlight lang="python">
<syntaxhighlight lang="python">
# DQN Agent
# DQN Agent
if episode % 10 == 0:
if episode % 10 == 0:
agent.update_target_net()
agent.update_target_net()
...
...
</syntaxhighlight>
</syntaxhighlight>