更改

===使用神经网络逼近 Q 值函数===

===使用神经网络逼近 Q 值函数===

DQN的⾏为值函数<math> Q(s,a;θ) </math> 利⽤神经⽹络逼近，属于⾮线性逼近。此处的值函数对应着⼀组参数，在神经⽹络⾥参数是每层⽹络的权重，用θ表示。

DQN的⾏为值函数<math> Q(s,a;θ) </math> 利⽤神经⽹络逼近，属于⾮线性逼近。此处的值函数对应着⼀组参数，在神经⽹络⾥参数是每层⽹络的权重，用<math>θ</math>表示。

用公式表示的话，如下：

用公式表示的话，如下：

其中：

其中：

*'''输入'''​​：原始状态 s（如游戏画面像素矩阵）

*'''输入'''​​：原始状态 <math>s</math>（如游戏画面像素矩阵）

*'''输出'''​​​​：每个动作 a 对应的Q值（离散动作空间）

*'''输出'''​​​​：每个动作 <math>a</math> 对应的</math>Q</math>值（离散动作空间）

*'''参数'''​​​​：θ 为神经网络的权重，通过梯度下降优化

*'''参数'''​​​​：<math>θ </math>为神经网络的权重，通过梯度下降优化

​​

​​

在论文中DQN所用的网络结构是三个卷积层加两个全连接层，网络的输入是经过预处理后的数据，预处理指的是将210*160的游戏图像转化为84*84的图像等操作，得到算法结构中的具体代码实现和网络结构见图和以下代码：

在论文中DQN所用的网络结构是三个卷积层加两个全连接层，网络的输入是经过预处理后的数据，预处理指的是将210*160的游戏图像转化为84*84的图像等操作，得到算法结构中的具体代码实现和网络结构见图和以下代码：