842
个编辑
更改
跳到导航
跳到搜索
第90行：
第90行： − + − + 第110行：
第110行： − + 第185行：
第185行： − + +
→数学原理
= 数学原理 =
= 数学原理 =
RealNVP 的数学设计围绕一个核心目标展开：让概率密度的计算既精确又高效。这一目标由三个要素支撑——概率论中的变量替换公式给出精确似然的表达式；仿射耦合层的三角雅可比结构使行列式计算开销与维度成线性关系，从而保证可处理性；最大似然估计则提供直接的训练目标，无需近似下界或辅助网络。本节依次介绍这三个要素，进而比较加性耦合与仿射耦合在体积保持上的差异，最后讨论训练目标中两项各自的含义与实际训练配置。
RealNVP 的数学设计围绕一个核心目标展开：让概率密度的计算既精确又高效。这一目标由三个要素支撑——概率论中的[[变量替换公式]]给出精确似然的表达式；[[仿射耦合层]]的三角雅可比结构使行列式计算开销与维度成线性关系，从而保证可处理性；[[最大似然估计]]则提供直接的训练目标，无需近似下界或辅助网络。本节依次介绍这三个要素，进而比较[[加性耦合]]与仿射耦合在体积保持上的差异，最后讨论训练目标中两项各自的含义与实际训练配置。
== 标准化流与[[变量替换公式]] ==
== [[标准化流]]与[[变量替换公式]] ==
标准化流的核心是概率论中的'''变量替换公式'''（change of variables）。设 <math>\mathbf{z} \sim p_Z(\mathbf{z})</math> 是已知先验（通常取标准正态 <math>\mathcal{N}(0, \mathbf{I})</math>），<math>f = g^{-1}</math> 是从数据 <math>\mathbf{x}</math> 到 <math>\mathbf{z}</math> 的可逆映射（编码器）。则 <math>\mathbf{x}</math> 的密度为：
标准化流的核心是概率论中的'''变量替换公式'''（change of variables）。设 <math>\mathbf{z} \sim p_Z(\mathbf{z})</math> 是已知先验（通常取标准正态 <math>\mathcal{N}(0, \mathbf{I})</math>），<math>f = g^{-1}</math> 是从数据 <math>\mathbf{x}</math> 到 <math>\mathbf{z}</math> 的可逆映射（编码器）。则 <math>\mathbf{x}</math> 的密度为：
|{{EquationRef|4}}}}
|{{EquationRef|4}}}}
上式中，第一项 <math>\log p_Z(f(\mathbf{x}))</math> 衡量编码后分布与标准高斯的接近程度；第二项（对数雅可比行列式）则是'''体积补偿项'''——如果 <math>f</math> 在某个局部使空间扩张（<math>\det > 1</math>），密度必须相应降低，反之亦然。当流由 <math>K</math> 个变换复合而成 <math>f = f_K \circ \cdots \circ f_1</math> 时，总对数密度是各层对数行列式的求和：
上式中，第一项 <math>\log p_Z(f(\mathbf{x}))</math> 衡量编码后分布与标准高斯的接近程度；第二项（对数[[雅可比行列式]]）则是'''体积补偿项'''——如果 <math>f</math> 在某个局部使空间扩张（<math>\det > 1</math>），密度必须相应降低，反之亦然。当流由 <math>K</math> 个变换复合而成 <math>f = f_K \circ \cdots \circ f_1</math> 时，总对数密度是各层对数行列式的求和：
<math>
<math>
从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化推前分布（即数据分布经 <math>f</math> 映射到潜在空间后得到的分布）与先验之间的反向 KL。
从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化推前分布（即数据分布经 <math>f</math> 映射到潜在空间后得到的分布）与先验之间的反向 KL。
'''实际训练配置'''：自适应矩估计（Adaptive Moment Estimation，Adam）优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math>（原论文取 <math>\alpha = 0.05</math>）处理，以缓解像素取值集中在 0 和 255 两个边界带来的问题。
'''实际训练配置'''：[[自适应矩估计]]（Adaptive Moment Estimation，Adam）优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math>（原论文取 <math>\alpha = 0.05</math>）处理，以缓解像素取值集中在 0 和 255 两个边界带来的问题。
= 应用 =
= 应用 =