50
个编辑
更改
跳到导航
跳到搜索
第105行：
第105行： − + 第135行：
第135行： − 仿射耦合层对前 <math>d</math> 维进行恒等映射，对后 <math>D-d</math> 维进行仿射映射，因而雅可比矩阵具有分块三角结构：+ 第180行：
第180行： − +
重新表述使 RealNVP 和一般流模型的关系厘清
= 数学原理 =
= 数学原理 =
RealNVP 的数学设计围绕一个核心目标展开：让概率密度的计算既精确又高效。这一目标由三个要素支撑——概率论中的[[变量替换公式]]给出精确似然的表达式；[[仿射耦合层]]的三角雅可比结构使行列式计算开销与维度成线性关系，从而保证可处理性；[[最大似然估计]]则提供直接的训练目标，无需近似下界或辅助网络。本节依次介绍这三个要素，进而比较[[加性耦合]]与仿射耦合在体积保持上的差异，最后讨论训练目标中两项各自的含义与实际训练配置。
RealNVP 的数学原理可分为两个层次。其一是[[标准化流]]的'''通用框架'''：[[变量替换公式]]给出精确似然的表达式，[[最大似然估计]]提供直接的训练目标，无需近似下界或辅助网络——这些结论对一切流模型成立，并非 RealNVP 特有。其二是 RealNVP 的'''特有设计'''：通用框架要求变换可逆且雅可比行列式可算，[[仿射耦合层]]的三角雅可比结构正是为满足这一要求而构造的，它使行列式计算开销与维度成线性关系，从而保证可处理性。本节先介绍通用框架，再阐述 RealNVP 的特化实现，进而比较[[加性耦合]]与仿射耦合在体积保持上的差异，最后讨论训练目标中两项各自的含义与实际训练配置。
== [[标准化流]]与[[变量替换公式]] ==
== [[标准化流]]与[[变量替换公式]] ==
== 仿射耦合的雅可比行列式与可逆性 ==
== 仿射耦合的雅可比行列式与可逆性 ==
上一小节的结论适用于一切标准化流。RealNVP 要回答的问题是：如何构造一个既完全可逆、又满足行列式易算的变换？其答案就是仿射耦合层——它对前 <math>d</math> 维进行恒等映射，对后 <math>D-d</math> 维进行仿射映射，因而雅可比矩阵具有分块三角结构：
== 损失函数与[[最大似然训练]] ==
== 损失函数与[[最大似然训练]] ==
RealNVP 通过最大化数据对数似然来训练，等价于最小化数据分布与模型分布的前向 KL 散度（Kullback-Leibler divergence，KL）：
RealNVP 通过最大化数据对数似然来训练（这也是标准化流的通用训练方式），等价于最小化数据分布与模型分布的前向 KL 散度（Kullback-Leibler divergence，KL）：
{{NumBlk|:|
{{NumBlk|:|