更改
跳到导航
跳到搜索
第211行:
第211行:
− +
→叠加(去噪)自动编码器(Stacked (de-noising) auto-encoders)
【自动编码器】的想法由“好的”表示的概念启发。例如对于一个【分类器】,一个好的表示可以被定义为一个产生了更好表现的分类器。
【自动编码器】的想法由“好的”表示的概念启发。例如对于一个【分类器】,一个好的表示可以被定义为一个产生了更好表现的分类器。
【编码器】是一个确定映射 <math>f_\theta</math> ,它将输入向量''''' x'''''转化为隐藏表示 '''''y''''', 其中 <math>\theta = \{\boldsymbol{W}, b\}</math>, <math>\boldsymbol{W}</math> 是 权重矩阵, '''b''' 是一个补偿向量(偏置)。 【解码器】反映射隐藏表示 '''y'''到重建的输入 '''''z''''' 通过 <math>g_\theta</math>。整个自动编码的过程是把这个重建输入与原始的作比较,尽量最小化误差使得重建值和原始尽可能的靠近 。
【编码器】是一个确定映射 <math>f_\theta</math> ,它将输入向量''''' x'''''转化为隐藏表示 '''''y''''', 其中 <math>\theta = \{\boldsymbol{W}, b\}</math>, <math>{\boldsymbol{W}}</math>是权重矩阵, '''b''' 是一个补偿向量(偏置)。 【解码器】反映射隐藏表示 '''y'''到重建的输入 '''''z''''' 通过 <math>g_\theta</math>。整个自动编码的过程是把这个重建输入与原始的作比较,尽量最小化误差使得重建值和原始尽可能的靠近 。
在叠加去噪编码器中,部分【corrupted】输出被清理(去噪),这个想法在2010由Vincent et al提出,使用特殊的好的表示的方法,一个好的表示是可以从【corrupted】输入【鲁棒地】得到,这对恢复相应清洁的输入有用。这个定义隐含了下面的想法:
在叠加去噪编码器中,部分【corrupted】输出被清理(去噪),这个想法在2010由Vincent et al提出,使用特殊的好的表示的方法,一个好的表示是可以从【corrupted】输入【鲁棒地】得到,这对恢复相应清洁的输入有用。这个定义隐含了下面的想法:
* 更高层的表征相对而言对输入【corruption】稳定和鲁棒;
* 更高层的表征相对而言对输入【corruption】稳定和鲁棒;