更改

RealNVP (查看源代码)

2026年8月22日 (六) 15:32的版本

添加599字节、 2026年8月22日 (星期六)

小

严谨化一些表述

第9行：第9行：

第一条主线是可逆变换的"分层堆叠"思想。从 1990 年代的独立成分分析（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，研究者一直尝试用可逆变换将复杂数据"[[归一化]]"到简单分布。2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架——通过一系列可逆映射，让基分布像水流一样"流动"成目标分布<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>。

−

第二条主线是耦合层的发明与升级。2014 年，Dinh 等人提出了 '''NICE'''（Non-linear Independent Components ~~Estimation，NICE），首次使深度可逆网络可训练~~<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=~~2014~~|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。

+

第二条主线是耦合层的发明与升级。2014 年，Dinh 等人提出了 '''NICE'''（Non-linear Independent Components Estimation），首次使深度可逆网络可训练<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。

2017 年的 RealNVP 将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的普适逼近器，而仿射耦合流在良好条件下是<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。

第21行：第21行：

RealNVP 把若干可逆模块按顺序堆叠，形成从数据空间到潜在空间的完整映射。其网络主体由四个功能模块组成：'''[[仿射耦合层]]'''（affine coupling layer）负责可逆的特征变换，每个耦合层输出后接'''[[批量归一化]]'''（batch normalization）以稳定训练；'''[[压缩]]'''（squeeze）负责降低空间分辨率并把信息重排到通道；'''[[变量分解]]'''（factor out）负责在每个尺度末尾抽取变量作为潜在变量。其中，仿射耦合层通过空间[[棋盘掩码]]（checkerboard masking）与[[通道级掩码]]（channel-wise masking）实现，二者交替使用。

−

RealNVP 的多尺度架构如下图所示。输入图像 <math>\mathbf{x}</math> 首先进入第 1 尺度。每个非末尺度内部依次经过 3 个空间棋盘掩码的耦合层（每个耦合层输出后接批量[[归一化]]）、压缩块、再 3 个通道级掩码的耦合层（同样每个后接批量归一化），最后进行变量分解；末尺度则只经过 4 个空间棋盘掩码耦合层（同样每个后接批量归一化），随后把全部变量抽出作为 <math>\mathbf{z}^{(L)}</math>，不再保留传递变量。非末尺度的变量分解把当前特征一分为二：一半作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜在变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>~~），但它们的总和恰好等于输入维度~~ <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。

+

RealNVP 的多尺度架构如下图所示。输入图像 <math>\mathbf{x}</math> 首先进入第 1 尺度。每个非末尺度内部依次经过 3 个空间棋盘掩码的耦合层（每个耦合层输出后接批量[[归一化]]）、压缩块、再 3 个通道级掩码的耦合层（同样每个后接批量归一化），最后进行变量分解；末尺度则只经过 4 个空间棋盘掩码耦合层（同样每个后接批量归一化），随后把全部变量抽出作为 <math>\mathbf{z}^{(L)}</math>，不再保留传递变量。非末尺度的变量分解把当前特征一分为二：一半作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜在变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>，其中末尺度因全部抽出而与其前一尺度等长），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。

正向流程可概括为：

第34行：第34行：

== [[仿射耦合层]]：可逆的"条件变形" ==

−

下图给出了仿射耦合层的前向流程。图中的耦合层块即仿射耦合层，它是 RealNVP 的基本可逆变换单元。[[文件:仿射耦合.png|缩略图|仿射耦合层示意图：正向（从左到右）将输入分块并变换，反向（从右到左）逐块还原。|替代=|626x626px~~|居中~~]]{{NumBlk|:|

+

下图给出了仿射耦合层的前向流程。图中的耦合层块即仿射耦合层，它是 RealNVP 的基本可逆变换单元。[[文件:仿射耦合.png|缩略图|仿射耦合层示意图：正向（从左到右）将输入分块并变换，反向（从右到左）逐块还原。|替代=|626x626px]]{{NumBlk|:|

<math>

\begin{cases}

第41行：第41行：

\end{cases}

</math>

−

|{{EquationRef|1}}}}这里 <math>\mathbf{s}</math>（scale，缩放）和 <math>\mathbf{t}</math>~~（translation，平移）是两个深度神经网络（可以是任意结构，因为常用于图像相关的任务，所以人们通常用~~[[卷积神经网络]]（Convolutional Neural Network，CNN））。<math>\odot</math> 为逐元素乘积。由于 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> 的输入只来自不变的那一半，输出只作用在可变的那一半，整个变换的[[雅可比矩阵]]是下三角块结构，行列式即为对角线元素的乘积——一般的 <math>D</math> 维矩阵求行列式需要 <math>O(D^3)</math> 的计算量，而这里只需把对角元相乘，[[计算复杂度]]降为 <math>O(D)</math>。此外，逆变换为：

+

|{{EquationRef|1}}}}这里 <math>\mathbf{s}</math>（scale，缩放）和 <math>\mathbf{t}</math>（translation，平移）是两个深度神经网络（可以是任意结构；图像任务中通常用[[卷积神经网络]]（Convolutional Neural Network，CNN））。<math>\odot</math> 为逐元素乘积。由于 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> 的输入只来自不变的那一半，输出只作用在可变的那一半，整个变换的[[雅可比矩阵]]是下三角块结构，行列式即为对角线元素的乘积——一般的 <math>D</math> 维矩阵求行列式需要 <math>O(D^3)</math> 的计算量，而这里只需把对角元相乘，[[计算复杂度]]降为 <math>O(D)</math>。此外，逆变换为：

{{NumBlk|:|

第54行：第54行：

无需对 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求逆，只需按公式 (2) 进行减法和除法即可。因此'''编码（求密度）和解码（采样）同样高效'''。

−

== ~~掩码卷积的两种分区模式~~ ==

+

== 两种掩码分区模式 ==

仿射耦合层要先把输入分成两部分：保持不变的一半称为'''被动'''部分，被变换的一半称为'''主动'''部分。针对图像数据，RealNVP 使用两种掩码来决定划分方式：

第69行：第69行：

如上图所示，多尺度架构依赖两个关键操作：[[压缩]]与[[变量分解]]。

−

'''压缩'''：将空间上每个 <math>2\times2</math> 的小块在[[通道方向]]上重排，将 <math>s\times s\times c</math> 重排为 <math>s/2 \times s/2 \times 4c</math>。[[空间分辨率]]减半，通道数四倍——信息被重新排列，但没有丢失。

+

'''压缩'''：将空间上每个 <math>2\times2</math> 的小块在[[通道方向]]上重排，将 <math>h\times w\times c</math> 重排为 <math>h/2 \times w/2 \times 4c</math>。[[空间分辨率]]减半，通道数四倍——信息被重新排列，但没有丢失。

'''变量分解'''：在每个非末尺度结束时，将当前表示的一半维度提取为潜在变量 <math>\mathbf{z}^{(i)}</math>，剩下的一半 <math>\mathbf{h}^{(i)}</math> 继续进入下一尺度；末尺度则将全部变量提取为 <math>\mathbf{z}^{(L)}</math>。最终所有 <math>\mathbf{z}^{(i)}</math> 展平后拼接成完整的潜在变量 <math>\mathbf{z}</math>，其总维度与输入维度相等。

第86行：第86行：

</math>

−

由于 BN 对每个维度独立地缩放和平移，它本身也是一个可逆变换：其雅可比矩阵为对角阵，[[雅可比行列式]]即各维度缩放因子的乘积，可直接加入[[对数似然]]——这使 BN 可以像耦合层一样作为流中的一层。引入 BN 主要是为了稳定深层训练：它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸，使梯度稳定传播。使用 BN 有一个容易忽略的细节：训练时均值与方差是从当前这一批样本中估计的，因此单个样本的输出会依赖同批次的其他样本——此时的 BN 并不是严格意义上逐样本的可逆变换，其行列式也与整个批量耦合。只有在推理阶段改用训练过程中滑动平均得到的固定统计量，BN 才成为逐样本的、严格可逆的仿射变换，其行列式才能精确计入对数似然。换言之，用训练好的模型评估密度时若忘了做这一切换，同一个输入会因同批样本不同而得到不同的密度值，结果既不可复现也不正确。

+

其中 <math>\tilde{\boldsymbol{\mu}}</math>、<math>\tilde{\boldsymbol{\sigma}}</math> 为均值与标准差——训练时按当前批次估计，推理时改用滑动平均（原因见下文）。由于 BN 对每个维度独立地缩放和平移，它本身也是一个可逆变换：其雅可比矩阵为对角阵，[[雅可比行列式]]即各维度缩放因子的乘积，可直接加入[[对数似然]]——这使 BN 可以像耦合层一样作为流中的一层。引入 BN 主要是为了稳定深层训练：它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸，使梯度稳定传播。使用 BN 有一个容易忽略的细节：训练时均值与方差是从当前这一批样本中估计的，因此单个样本的输出会依赖同批次的其他样本——此时的 BN 并不是严格意义上逐样本的可逆变换，其行列式也与整个批量耦合。只有在推理阶段改用训练过程中滑动平均得到的固定统计量，BN 才成为逐样本的、严格可逆的仿射变换，其行列式才能精确计入对数似然。换言之，用训练好的模型评估密度时若忘了做这一切换，同一个输入会因同批样本不同而得到不同的密度值，结果既不可复现也不正确。

= 数学原理 =

−

RealNVP 的数学设计围绕一个核心目标展开：让概率密度的计算既精确又高效。这一目标由三个要素支撑——概率论中的变量替换公式给出精确似然的表达式；仿射耦合层的三角雅可比结构使行列式计算开销与维度成线性关系，从而保证可处理性；最大似然估计则提供直接的训练目标，无需近似下界或辅助网络。本节依次介绍这三个要素，并讨论训练目标中两项各自的含义与实际训练配置。

+

RealNVP 的数学设计围绕一个核心目标展开：让概率密度的计算既精确又高效。这一目标由三个要素支撑——概率论中的变量替换公式给出精确似然的表达式；仿射耦合层的三角雅可比结构使行列式计算开销与维度成线性关系，从而保证可处理性；最大似然估计则提供直接的训练目标，无需近似下界或辅助网络。本节依次介绍这三个要素，进而比较加性耦合与仿射耦合在体积保持上的差异，最后讨论训练目标中两项各自的含义与实际训练配置。

== 标准化流与[[变量替换公式]] ==

第143行：第143行：

|{{EquationRef|5}}}}

−

上述性质是 RealNVP 可处理性的关键：计算行列式不需要对神经网络 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求导。因此 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> ~~可以是任意复杂的深度残差网络，而不会破坏密度评估的可处理性。多个耦合层复合时，行列式相乘、逆变换按相反顺序复合，性质仍然保持。~~

+

上述性质是 RealNVP 可处理性的关键：计算行列式不需要对神经网络 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求导。因此 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> 可以是任意复杂的深度网络（如深层卷积网络、残差网络），而不会破坏密度评估的可处理性。多个耦合层复合时，行列式相乘、逆变换按相反顺序复合，性质仍然保持。

对公式 (1) 做简单的代数移项，即可得到公式 (2) 给出的逆变换。无需对 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求逆，只需按逆变换公式进行减法和除法即可。因此'''编码（求密度）和解码（采样）同样高效'''。

第157行：第157行：

| '''加性'''（NICE） || <math>\mathbf{y}_2 = \mathbf{x}_2 + \mathbf{t}(\mathbf{x}_1)</math> || <math>1</math> || 体积保持

|-

−

| '''乘法''' || <math>\mathbf{y}_2 = \mathbf{x}_2 \odot \mathbf{s}(\mathbf{x}_1)</math> || <math>\prod s_j</math> || 非体积保持

+

| '''乘法'''<ref name="NICE2014" /> || <math>\mathbf{y}_2 = \mathbf{x}_2 \odot \mathbf{s}(\mathbf{x}_1)</math> || <math>\prod s_j</math> || 非体积保持

|-

| '''仿射'''（RealNVP） || <math>\mathbf{y}_2 = \mathbf{x}_2 \odot \exp(\mathbf{s}(\mathbf{x}_1)) + \mathbf{t}(\mathbf{x}_1)</math> || <math>\prod \exp(s_j)</math> || 非体积保持

第182行：第182行：

损失函数包含两项：

* '''先验项''' <math>\log p_Z(f(\mathbf{x}))</math>：促使编码后的分布整体逼近标准高斯，相当于对潜在空间的正则化。

−

* '''行列式项'''~~：促使模型在数据密集的区域扩张体积、在稀疏区域收缩体积——这与~~[[信息论]]中将码空间分配给高概率事件的原则一致。

+

* '''行列式项'''：增大体积膨胀会提高似然，因此该项处处偏好扩张，与先验项的收缩压力相平衡——净效果是数据密集处扩张、稀疏处收缩，这与[[信息论]]中将码空间分配给高概率事件的原则一致。

−

从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 ~~KL，等价于在潜在空间中最小化推前分布与先验之间的反向~~ KL。

+

从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化推前分布（即数据分布经 <math>f</math> 映射到潜在空间后得到的分布）与先验之间的反向 KL。

−

'''实际训练配置'''：自适应矩估计（Adaptive Moment Estimation，Adam）优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math> ~~处理，以消除像素边界的边界效应。~~

+

'''实际训练配置'''：自适应矩估计（Adaptive Moment Estimation，Adam）优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math>（原论文取 <math>\alpha = 0.05</math>）处理，以缓解像素取值集中在 0 和 255 两个边界带来的问题。

= 应用 =

第219行：第219行：

== 在 NIS/NIS+ 因果[[涌现]]框架中的应用 ==

−

在神经信息挤压器（Neural Information Squeezer，NIS）及其扩展 NIS+（Neural Information Squeezer ~~Plus，NIS+）中，RealNVP~~ 以可逆神经网络（Invertible Neural Networks，INN）作为编码器，实现微观状态到宏观状态的可逆粗粒化。粗粒化[[策略]]被建模为两阶段过程：

+

在神经信息挤压器（Neural Information Squeezer，NIS）及其扩展 NIS+（Neural Information Squeezer Plus）中，RealNVP 以可逆神经网络（Invertible Neural Networks，INN）作为编码器，实现微观状态到宏观状态的可逆粗粒化。粗粒化[[策略]]被建模为两阶段过程：

# '''无损变换'''：由 RealNVP 耦合层堆叠构成的 INN <math>\psi_\alpha: \mathbb{R}^p \to \mathbb{R}^p</math> 将微观状态 <math>\mathbf{x}_t</math> 映射到等维潜在空间 <math>\mathbf{x}'_t</math>。'''该阶段信息不丢失'''。

第248行：第248行：

* '''似然性能未达最优'''：RealNVP 对数据分布的拟合精度仍略逊于 PixelRNN 等自回归模型<ref name="Dinh2017" />。在以拟合精度为核心的任务（如密度估计、数据压缩）上，这是它的相对劣势——尽管它以并行采样换来了远快于对手的生成速度。

−

* '''维度保持约束'''：可逆变换要求输入与输出同维，因此 RealNVP 不能像自编码器那样把高维图像直接压缩成低维向量——潜在空间和数据空间一样大。所需的"降维"只能靠多尺度架构中的变量分解间接实现，即在各尺度逐步把一部分变量固定为潜在变量。

+

* '''维度保持约束'''：可逆变换要求输入与输出同维，因此 RealNVP 不能像自编码器那样把高维图像压缩成低维向量——潜在变量的总维度始终与输入相同。多尺度架构中的变量分解并不改变这一点，它只是让后续层处理更小的特征图，并把潜在变量分配到不同尺度。

* '''仿射耦合的表达力上限'''：仿射耦合每层只对一半变量做"缩放加平移"，函数形式较为简单，拟合复杂分布往往需要堆叠很多层。后续工作把变换换成更灵活的函数形式——如 Flow++ 的 Logistic 混合 CDF 耦合<ref name="FlowPlusPlus2019">{{cite journal|author1=Ho J.|author2=Chen X.|author3=Srinivas A.|author4=Duan Y.|author5=Abbeel P.|title=Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design|journal=ICML|year=2019}}</ref>、Neural Spline Flows 的有理二次样条耦合<ref name="NSF2019">{{cite journal|author1=Durkan C.|author2=Bekasov A.|author3=Murray I.|author4=Papamakarios G.|title=Neural Spline Flows|journal=Advances in Neural Information Processing Systems (NeurIPS)|year=2019|volume=32|url=https://arxiv.org/abs/1906.04032}}</ref>——用更少的层数即可达到更强的拟合能力。

* '''均匀去量化的次优性'''：像素是 0–255 的离散整数，而 RealNVP 建模的是连续分布。RealNVP 的做法是给像素加上均匀噪声，把离散数据"抹平"成连续的——但这相当于让模型拟合一个被噪声模糊过的分布，与真实分布存在偏差。Flow++ 提出的变分去量化让噪声分布本身也由模型学习，缓解了这一问题<ref name="FlowPlusPlus2019" />。

−

* '''分区固定性'''：掩码决定哪一半变量被变换，而这一划分在训练前就已固定、训练中不再改变；若某层的划分不理想，只能靠后续层弥补。Glow（Generative Flow with Invertible 1×1 ~~Convolutions，Glow）改用可学习的可逆~~ <math>1\times1</math> 卷积，让模型自己学会如何重排变量，划分更灵活，生成效果也更好<ref name="Glow2018">{{cite journal|author1=Kingma D. P.|author2=Dhariwal P.|title=Glow: Generative Flow with Invertible 1×1 Convolutions|journal=NeurIPS|year=2018}}</ref>。

+

* '''分区固定性'''：掩码决定哪一半变量被变换，而这一划分在训练前就已固定、训练中不再改变；若某层的划分不理想，只能靠后续层弥补。Glow（Generative Flow with Invertible 1×1 Convolutions）改用可学习的可逆 <math>1\times1</math> 卷积，让模型自己学会如何重排变量，划分更灵活，生成效果也更好<ref name="Glow2018">{{cite journal|author1=Kingma D. P.|author2=Dhariwal P.|title=Glow: Generative Flow with Invertible 1×1 Convolutions|journal=NeurIPS|year=2018}}</ref>。

* '''训练显存开销大'''：标准反向传播需要保存每个耦合层的激活值，层数一多显存占用显著上升；RevNet 的可逆残差结构正是为省去这部分存储而提出的<ref name="RevNet2017">{{cite journal|author1=Gomez A. N.|author2=Ren M.|author3=Urtasun R.|author4=Grosse R. B.|title=The Reversible Residual Network: Backpropagation Without Storing Activations|journal=NeurIPS|year=2017|url=https://arxiv.org/abs/1707.04585}}</ref>。

* '''对分布外样本过度自信'''：上文的异常检测应用依赖"异常样本的似然更低"这一假设，但后续研究发现这一假设未必成立：例如在 CIFAR-10 上训练的 RealNVP，会给截然不同的 SVHN 街景数字图像赋予'''更高'''的似然<ref name="Nalisnick2019">{{cite journal|author1=Nalisnick E.|author2=Matsukawa A.|author3=Teh Y. W.|author4=Gorur D.|author5=Lakshminarayanan B.|title=Do Deep Generative Models Know What They Don't Know?|journal=International Conference on Learning Representations (ICLR)|year=2019|url=https://arxiv.org/abs/1810.09136}}</ref>。似然高低与"是否属于训练分布"并不直接对应，因此基于似然的异常检测需要额外的校准手段。

第257行：第257行：

= 与相关框架的关系 =

−

RealNVP ~~在标准化流的发展中处于承上启下的位置：~~

+

RealNVP 在标准化流的发展中处于承上启下的位置。下表列举前驱与后继的代表性工作：

'''前驱工作'''

第276行：第276行：

! 方法 !! 年份 !! 核心创新 !! 与 RealNVP 的对比

|-

−

| '''MAF'''（Masked Autoregressive ~~Flow，MAF）~~<ref name="MAF2017">{{cite journal|author1=Papamakarios G.|author2=Pavlakou T.|author3=Murray I.|title=Masked Autoregressive Flow for Density Estimation|journal=NIPS|year=2017}}</ref> || 2017 || 全自回归条件 || 密度评估更灵活，但采样需顺序进行

+

| '''MAF'''（Masked Autoregressive Flow）<ref name="MAF2017">{{cite journal|author1=Papamakarios G.|author2=Pavlakou T.|author3=Murray I.|title=Masked Autoregressive Flow for Density Estimation|journal=NIPS|year=2017}}</ref> || 2017 || 全自回归条件 || 密度评估更灵活，但采样需顺序进行

|-

| '''Glow'''<ref name="Glow2018" /> || 2018 || 可逆 1×1 卷积 + actnorm || 刷新了图像生成基准

|-

−

| '''FFJORD'''（Free-form Jacobian of Reversible ~~Dynamics，FFJORD）~~<ref name="FFJORD2019">{{cite journal|author1=Grathwohl W.|author2=Chen R. T. Q.|author3=Bettencourt J.|author4=Sutskever I.|author5=Duvenaud D.|title=FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models|journal=ICLR|year=2019}}</ref> || 2019 || 连续时间流 + 常微分方程（Ordinary Differential Equation，ODE）描述 || 消除架构约束，但需数值积分

+

| '''FFJORD'''（Free-form Jacobian of Reversible Dynamics）<ref name="FFJORD2019">{{cite journal|author1=Grathwohl W.|author2=Chen R. T. Q.|author3=Bettencourt J.|author4=Sutskever I.|author5=Duvenaud D.|title=FFJORD: Free-form Continuous Dynamics for Scalable Reversible Generative Models|journal=ICLR|year=2019}}</ref> || 2019 || 连续时间流 + 常微分方程（Ordinary Differential Equation，ODE）描述 || 消除架构约束，但需数值积分

|-

| '''Flow++'''<ref name="FlowPlusPlus2019" /> || 2019 || 变分去量化 + Logistic 混合 CDF 耦合 || 改进 RealNVP 在密度估计、去量化和耦合函数上的短板

黄一凡

50

个编辑