281
个编辑
更改
跳到导航
跳到搜索
第241行：
第241行： − DQN提出用深度神经网络 <math> Q(s,a;θ) </math> 作为Q值的参数化近似函数：+ + − *'''输出'''：每个动作 a 对应的Q值（离散动作空间）+ − + − 第256行：
第256行： + +
→DQN 的核心思想与结构
===使用神经网络逼近 Q 值函数===
===使用神经网络逼近 Q 值函数===
DQN的⾏为值函数<math> Q(s,a;θ) </math> 利⽤神经⽹络逼近，属于⾮线性逼近。此处的值函数对应着⼀组参数，在神经⽹络⾥参数是每层⽹络的权重，用θ表示。
用公式表示的话如下：
<math> Q^{*}(s,a)≈Q(s,a;θ) </math>
<math> Q^{*}(s,a)≈Q(s,a;θ) </math>
其中：
其中：
*'''输入'''：原始状态 s（如游戏画面像素矩阵）
*'''输入'''：原始状态 s（如游戏画面像素矩阵）
*'''输出'''：每个动作 a 对应的Q值（离散动作空间）
*'''参数'''：θ 为神经网络的权重，通过梯度下降优化
*'''参数'''：θ 为神经网络的权重，通过梯度下降优化
在论文中DQN所用的网络结构是三个卷积层加两个全连接层。
'''核心意义'''：
'''核心意义'''：
*'''端到端学习'''：直接从原始状态（如像素）映射到动作价值，无需手工设计特征。
*'''端到端学习'''：直接从原始状态（如像素）映射到动作价值，无需手工设计特征。
===经验回放（Experience Replay）机制===
===经验回放（Experience Replay）机制===
通过经验回放可以令神经网络的训练收敛且稳定。原因如下：训练神经⽹络时，存在的假设是训练数据是独⽴同分布的， 但是通过强化学习采集的数据之间存在着关联性，利⽤这些数据进⾏顺序训练，神经⽹络当然不稳定。经验回放可以打破数据间的关联。在强化学习过程中，智能体将数据存储到⼀个数据库中，再利⽤均匀随机采样的⽅法从数据库中抽取数据，然后利⽤抽取的数据训练神经⽹络。 这种经验回放的技巧可以打破数据之间的关联性。
[[文件:经验回放|缩略图]]
===目标网络（Target Network）的引入与参数更新策略===
===目标网络（Target Network）的引入与参数更新策略===