842
个编辑
更改
跳到导航
跳到搜索
第78行：
第78行： − + − 批量归一化（Batch Normalization，BN）应用于每个耦合层的输出之后，用于稳定深层训练。+ 第86行：
第86行： − 它的雅可比行列式是各维度缩放因子的乘积，可直接加入对数似然。此外，BN 起到训练深耦合层堆叠时的稳定作用——它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸，使梯度稳定传播。+
→批量归一化：训练深层的稳定器
# '''降低计算负担'''：越早提取的维度越多，后续层需要处理的特征图越小。
# '''降低计算负担'''：越早提取的维度越多，后续层需要处理的特征图越小。
== 批量归一化：训练深层的稳定器 ==
== [[批量归一化]]：训练深层的稳定器 ==
批量[[归一化]]（Batch Normalization，BN）应用于每个[[耦合层]]的输出之后，用于稳定深层训练。
<math>
<math>
</math>
</math>
它的[[雅可比行列式]]是各维度缩放因子的乘积，可直接加入[[对数似然]]。此外，BN 起到训练深耦合层堆叠时的稳定作用——它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸，使梯度稳定传播。