281
个编辑
更改
跳到导航
跳到搜索
第233行：
第233行： − + 第239行：
第239行： − + − + − +
→使用神经网络逼近 Q 值函数
===使用神经网络逼近 Q 值函数===
===使用神经网络逼近 Q 值函数===
DQN的⾏为值函数<math> Q(s,a;θ) </math> 利⽤神经⽹络逼近，属于⾮线性逼近。此处的值函数对应着⼀组参数，在神经⽹络⾥参数是每层⽹络的权重，用θ表示。
DQN的⾏为值函数<math> Q(s,a;θ) </math> 利⽤神经⽹络逼近，属于⾮线性逼近。此处的值函数对应着⼀组参数，在神经⽹络⾥参数是每层⽹络的权重，用<math>θ</math>表示。
用公式表示的话，如下：
用公式表示的话，如下：
其中：
其中：
*'''输入'''：原始状态 s（如游戏画面像素矩阵）
*'''输入'''：原始状态 <math>s</math>（如游戏画面像素矩阵）
*'''输出'''：每个动作 a 对应的Q值（离散动作空间）
*'''输出'''：每个动作 <math>a</math> 对应的</math>Q</math>值（离散动作空间）
*'''参数'''：θ 为神经网络的权重，通过梯度下降优化
*'''参数'''：<math>θ </math>为神经网络的权重，通过梯度下降优化
在论文中DQN所用的网络结构是三个卷积层加两个全连接层，网络的输入是经过预处理后的数据，预处理指的是将210*160的游戏图像转化为84*84的图像等操作，得到算法结构中的具体代码实现和网络结构见图和以下代码：
在论文中DQN所用的网络结构是三个卷积层加两个全连接层，网络的输入是经过预处理后的数据，预处理指的是将210*160的游戏图像转化为84*84的图像等操作，得到算法结构中的具体代码实现和网络结构见图和以下代码：