更改

=== 叠加（去噪）自动编码器（Stacked (de-noising) auto-encoders） ===

=== 叠加（去噪）自动编码器（Stacked (de-noising) auto-encoders） ===

【编码器】是一个确定映射 <math>f_\theta</math> ，它将输入向量''''' x'''''转化为隐藏表示 '''''y''''', 其中 <math>\theta = \{\boldsymbol{W}, b\}</math>, <math>{\boldsymbol{W}}</math>是权重矩阵， '''b''' 是一个补偿向量（偏置）。 【解码器】反映射隐藏表示 '''y'''到重建的输入 '''''z''''' 通过 <math>g_\theta</math>。整个自动编码的过程是把这个重建输入与原始的作比较，尽量最小化误差使得重建值和原始尽可能的靠近 。

编码器是一个确定映射 <math>f_\theta</math> ，它将输入向量''''' x'''''转化为隐藏表示 '''''y''''', 其中 <math>\theta = \{\boldsymbol{W}, b\}</math>, <math>{\boldsymbol{W}}</math>是权重矩阵， '''b''' 是一个补偿向量（偏置）。 解码器反映射隐藏表示 '''y'''到重建的输入 '''''z''''' 通过 <math>g_\theta</math>。整个自动编码的过程是把这个重建输入与原始的作比较，尽量最小化误差使得重建值和原始尽可能的靠近 。

在叠加去噪编码器中，部分【corrupted】输出被清理（去噪），这个想法在2010由Vincent et al提出，使用特殊的好的表示的方法，一个好的表示是可以从【corrupted】输入【鲁棒地】得到，这对恢复相应清洁的输入有用。这个定义隐含了下面的想法：

在叠加去噪编码器中，部分【corrupted】输出被清理（去噪），这个想法在2010由Vincent et al提出，使用特殊的好的表示的方法，一个好的表示是可以从【corrupted】输入[https://en.wikipedia.org/wiki/Robustness_(computer_science) 鲁棒地]得到，这对恢复相应清洁的输入有用。这个定义隐含了下面的想法：

* 更高层的表征相对而言对输入【corruption】稳定和鲁棒；

* 更高层的表征相对而言对输入【corruption】稳定和鲁棒；

* 选出对输入分布表征有用的特征是必要的。

* 选出对输入分布表征有用的特征是必要的。

这个算法通过<math>q_D(\tilde{\boldsymbol{x}}|\boldsymbol{x})</math>从 <math>\boldsymbol{x}</math> 到<math>\tilde{\boldsymbol{x}}</math> 的随机映射开始，这是【corrupting】步。然后【corrupted】输入 <math>\tilde{\boldsymbol{x}}</math> 传过基本自动编码过程，并被映射到隐含表示<math>\boldsymbol{y} = f_\theta(\tilde{\boldsymbol{x}}) = s(\boldsymbol{W}\tilde{\boldsymbol{x}}+b)</math>。从这个隐含表示中，我们可以重建<math>\boldsymbol{z} = g_\theta(\boldsymbol{y})</math>。在最后一步，一个最小化算法运行以使 '''''z'''''尽可能和【uncorrupted】输入<math>\boldsymbol{x}</math>近。重建误差<math>L_H(\boldsymbol{x},\boldsymbol{z})</math>可以是带有双弯曲仿射解码器的【交叉熵】损失，或者【仿射】解码器的平方误差。

这个算法通过<math>{q_D({\tilde{\boldsymbol{x}}}|{\boldsymbol{x}})}</math>从 <math>\boldsymbol{x}</math> 到<math>\tilde{\boldsymbol{x}}</math> 的随机映射开始，这是【corrupting】步。然后【corrupted】输入 <math>\tilde{\boldsymbol{x}}</math> 传过基本自动编码过程，并被映射到隐含表示<math>\boldsymbol{y} = f_\theta(\tilde{\boldsymbol{x}}) = s(\boldsymbol{W}\tilde{\boldsymbol{x}}+b)</math>。从这个隐含表示中，我们可以重建<math>\boldsymbol{z} = g_\theta(\boldsymbol{y})</math>。在最后一步，一个最小化算法运行以使 '''''z'''''尽可能和【uncorrupted】输入<math>\boldsymbol{x}</math>近。重建误差<math>L_H(\boldsymbol{x},\boldsymbol{z})</math>可以是带有双弯曲仿射解码器的[https://en.wikipedia.org/wiki/Cross-entropy 交叉熵]损失，或者[https://en.wikipedia.org/wiki/Affine_transformation 仿射]解码器的平方误差。

为了做出一个深度结构，自动编码器栈。一旦第一个去噪自动编码器的编码函数<math>f_\theta</math>被学习并且用于改善输入（差的输入），第二级可以被训练。  

为了做出一个深度结构，自动编码器栈。一旦第一个去噪自动编码器的编码函数<math>f_\theta</math>被学习并且用于改善输入（差的输入），第二级可以被训练。  

===深度叠加网络（ Deep stacking networks ）===

===深度叠加网络（ Deep stacking networks ）===