打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
RealNVP
(查看源代码)
2026年8月7日 (五) 19:53的版本
添加20字节
、
2026年8月7日 (星期五)
→批量归一化:训练深层的稳定器
第78行:
第78行:
# '''降低计算负担''':越早提取的维度越多,后续层需要处理的特征图越小。
# '''降低计算负担''':越早提取的维度越多,后续层需要处理的特征图越小。
−
==
批量归一化:训练深层的稳定器
==
+
==
[[批量归一化]]:训练深层的稳定器
==
−
批量归一化(Batch Normalization,BN)应用于每个耦合层的输出之后,用于稳定深层训练。
+
批量[[归一化]](Batch Normalization,BN)应用于每个[[耦合层]]的输出之后,用于稳定深层训练。
<math>
<math>
第86行:
第86行:
</math>
</math>
−
它的雅可比行列式是各维度缩放因子的乘积,可直接加入对数似然。此外,BN
起到训练深耦合层堆叠时的稳定作用——它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸,使梯度稳定传播。
+
它的[[雅可比行列式]]是各维度缩放因子的乘积,可直接加入[[对数似然]]。此外,BN
起到训练深耦合层堆叠时的稳定作用——它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸,使梯度稳定传播。
Matthew
管理员
842
个编辑