更改

RealNVP (查看源代码)

2026年7月23日 (四) 16:35的版本

添加108字节、 2026年7月23日 (星期四)

无编辑摘要

第1行：第1行： −

'''RealNVP'''（'''Real-valued Non-Volume Preserving'''~~，实值非体积保持变换）是一类基于标准化流（normalizing~~ flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal|author1=Dinh L.|author2=Sohl-Dickstein J.|author3=Bengio S.|title=Density Estimation Using Real NVP|journal=International Conference on Learning Representations (ICLR)|year=2017|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''

+

'''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值[[非体积保持]]变换）是一类基于[[标准化流]]（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal|author1=Dinh L.|author2=Sohl-Dickstein J.|author3=Bengio S.|title=Density Estimation Using Real NVP|journal=International Conference on Learning Representations (ICLR)|year=2017|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''

[[文件:Realnvp flow anim.gif|缩略图|332x332像素|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]

= 原理概述 =

−

RealNVP 是一类标准化流：它将一系列可逆映射 <math>f_1, \dots, f_n</math> 复合为整体变换 <math>f = f_n \circ \cdots \circ f_1</math>，从而将数据 <math>\mathbf{x}</math> 映射到标准正态分布 <math>\mathbf{z} = f(\mathbf{x}) \sim \mathcal{N}(0, \mathbf{I})</math>。由于可逆性，生成样本时只需从正态分布采样 <math>\mathbf{z}</math>，再通过逆映射 <math>\mathbf{x} = f^{-1}(\mathbf{z})</math> ~~还原为数据。每一层变换的雅可比行列式都能高效解析计算，因此整体对数似然~~ <math>\log p_X(\mathbf{x})</math> 可直接求出，无需借助变分下界或对抗训练。

+

RealNVP 是一类标准化流：它将一系列可逆映射 <math>f_1, \dots, f_n</math> 复合为整体变换 <math>f = f_n \circ \cdots \circ f_1</math>，从而将数据 <math>\mathbf{x}</math> 映射到标准正态分布 <math>\mathbf{z} = f(\mathbf{x}) \sim \mathcal{N}(0, \mathbf{I})</math>。由于可逆性，生成样本时只需从正态分布采样 <math>\mathbf{z}</math>，再通过逆映射 <math>\mathbf{x} = f^{-1}(\mathbf{z})</math> 还原为数据。每一层变换的[[雅可比行列式]]都能高效解析计算，因此整体对数似然 <math>\log p_X(\mathbf{x})</math> 可直接求出，无需借助变分下界或对抗训练。

−

~~在因果涌现的研究中，RealNVP~~ 常被用作可逆编码器（INN）的实现载体。以 NIS 和 NIS+ 为例，编码器被分解为两步：先用 RealNVP 的耦合层将微观状态 <math>\mathbf{x}_t</math> 无损地映射到等维潜在空间 <math>\mathbf{x}'_t</math>（信息转换），再通过投影算子 <math>\chi_{p,q}</math> 丢弃 <math>p-q</math> 个维度，得到宏观状态 <math>\mathbf{y}_t</math>（信息丢弃）。因此，RealNVP 的可逆性、参数共享和解析雅可比行列式，是 NIS 系列实现“可控维度、双向编码—解码”的技术基础；需要强调的是，宏观粗粒化本身是有损的，真正无损的仅是 INN 内部的信息转换阶段。更详细的 NIS/NIS+ 应用见后文。

+

在[[因果涌现]]的研究中，RealNVP 常被用作可逆编码器（INN）的实现载体。以 [[NIS]] 和 [[NIS+]] 为例，编码器被分解为两步：先用 RealNVP 的耦合层将微观状态 <math>\mathbf{x}_t</math> 无损地映射到等维潜在空间 <math>\mathbf{x}'_t</math>（信息转换），再通过投影算子 <math>\chi_{p,q}</math> 丢弃 <math>p-q</math> 个维度，得到宏观状态 <math>\mathbf{y}_t</math>（信息丢弃）。因此，RealNVP 的可逆性、参数共享和解析雅可比行列式，是 NIS 系列实现“可控维度、双向编码—解码”的技术基础；需要强调的是，宏观粗粒化本身是有损的，真正无损的仅是 INN 内部的信息转换阶段。更详细的 NIS/NIS+ 应用见后文。

= 历史渊源 =

第11行：第11行：

RealNVP 建立在早期标准化流工作之上，其发展有两条主线。

−

第一条主线是可逆变换的"分层堆叠"思想。从 1990 年代的独立成分分析（ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，研究者一直尝试用可逆变换将复杂数据"归一化"到简单分布。2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架——通过一系列可逆映射，让基分布像水流一样"流动"成目标分布<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>。

+

第一条主线是可逆变换的"分层堆叠"思想。从 1990 年代的独立成分分析（ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，研究者一直尝试用可逆变换将复杂数据"[[归一化]]"到简单分布。2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架——通过一系列可逆映射，让基分布像水流一样"流动"成目标分布<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>。

−

第二条主线是耦合层的发明与升级。2014 年，Dinh 等人提出了 '''NICE'''（Non-linear Independent Components Estimation），首次使深度可逆网络可训练<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2014|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''加性耦合层'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。

+

第二条主线是耦合层的发明与升级。2014 年，Dinh 等人提出了 '''NICE'''（Non-linear Independent Components Estimation），首次使深度可逆网络可训练<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2014|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。

−

2017 年的 RealNVP 将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., ~~2024）证明：体积保持的流~~'''不是'''分布的普适逼近器，而仿射耦合流在良好条件下是<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。

+

2017 年的 RealNVP 将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的普适逼近器，而仿射耦合流在良好条件下是<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。

第25行：第25行：

RealNVP 把若干可逆模块按顺序堆叠，形成从数据空间到潜在空间的完整映射。其网络主体由四个功能模块组成：'''仿射耦合层'''（coupling）负责可逆的特征变换，每个耦合层输出后接'''批量归一化'''（batch normalization）以稳定训练；'''压缩'''（squeeze）负责降低空间分辨率并把信息重排到通道；'''变量分解'''（factor out）负责在每个尺度末尾抽取一部分变量作为潜在编码。其中，仿射耦合层通过空间棋盘（checkerboard）与通道级（channel-wise）两种掩码实现，二者交替使用。

−

如上图所示，输入图像 <math>\mathbf{x}</math> 首先进入第一层 Scale 1。每个非末尺度内部依次经过 3 个 checkerboard ~~掩码的耦合层Coupling（每个耦合层输出后接批量归一化BN）、压缩块Squeeze~~ 、再 3 个 channel-wise ~~掩码的耦合层（同样每个后接批量归一化），最后通过变量分解~~ Factor Out 把当前特征一分为二；末尺度则只经过 4 个 checkerboard 耦合层（同样每个后接批量归一化）就进行 Factor Out。一半结果作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。不同尺度之间通过折线连接，最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。

+

如上图所示，输入图像 <math>\mathbf{x}</math> 首先进入第一层 Scale 1。每个非末尺度内部依次经过 3 个 checkerboard 掩码的耦合层Coupling（每个耦合层输出后接批量归一化BN）、[[压缩]]块Squeeze 、再 3 个 channel-wise 掩码的耦合层（同样每个后接批量归一化），最后通过[[变量分解]] Factor Out 把当前特征一分为二；末尺度则只经过 4 个 checkerboard 耦合层（同样每个后接批量归一化）就进行 Factor Out。一半结果作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。不同尺度之间通过折线连接，最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。

正向流程可概括为：

第35行：第35行：

由于每个压缩和分解步骤都要对空间或通道维度进行对半划分，各尺度的空间尺寸与通道数都必须是偶数；实际应用中通常把图像尺寸调整为偶数，或通过填充、裁剪等预处理满足该条件。

−

== ~~仿射耦合层：可逆的~~"条件变形" ==

+

== [[仿射耦合层]]：可逆的"条件变形" ==

图中的 '''Coupling''' 块即仿射耦合层，它是 RealNVP 的基本可逆变换单元。[[文件:仿射耦合.png|缩略图|仿射耦合层示意图：正向（从左到右）将输入分块并变换，反向（从右到左）逐块还原。|替代=|344x344像素]]{{NumBlk|:|

第44行：第44行：

\end{cases}

</math>

−

|{{EquationRef|1}}}}这里 <math>\mathbf{s}</math>（scale，缩放）和 <math>\mathbf{t}</math>（translation，平移）是两个深度神经网络（通常是 CNN）。<math>\odot</math> 为逐元素乘积。由于 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> ~~的输入只来自不变的那一半，输出只作用在可变的那一半，整个变换的雅可比矩阵是下三角块结构，行列式即为对角线元素的乘积——计算复杂度从~~ <math>O(D^3)</math> 降到 <math>O(D)</math>。此外，逆变换为：

+

|{{EquationRef|1}}}}这里 <math>\mathbf{s}</math>（scale，缩放）和 <math>\mathbf{t}</math>（translation，平移）是两个深度神经网络（通常是 CNN）。<math>\odot</math> 为逐元素乘积。由于 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> 的输入只来自不变的那一半，输出只作用在可变的那一半，整个变换的雅可比矩阵是下三角块结构，行列式即为对角线元素的乘积——[[计算复杂度]]从 <math>O(D^3)</math> 降到 <math>O(D)</math>。此外，逆变换为：

{{NumBlk|:|

第64行：第64行：

* '''空间棋盘模式'''（checkerboard masking）：像国际象棋棋盘一样，按坐标 <math>(i+j)</math> 的奇偶性决定像素是否属于"被动"集合。相邻像素被分到不同集合，能充分利用局部相关性。

−

* '''通道级掩码'''（channel-wise masking）：将前一半通道设为被动，后一半为主动。这通常在"压缩"操作后使用，因为此时空间分辨率已降低，通道间的语义分工更明确。

+

* '''[[通道级掩码]]'''（channel-wise masking）：将前一半通道设为被动，后一半为主动。这通常在"压缩"操作后使用，因为此时空间分辨率已降低，通道间的语义分工更明确。

通过交替堆叠不同掩码的耦合层（至少三层），每个维度在不同层中分别作为被动变量和主动变量，信息得以充分混合。

第97行：第97行：

= 数学原理 =

−

== ~~标准化流与变量替换公式~~ ==

+

== 标准化流与[[变量替换公式]] ==

标准化流的核心是概率论中的'''变量替换公式'''（change of variables）。设 <math>\mathbf{z} \sim p_Z(\mathbf{z})</math> 是已知先验（通常取标准正态 <math>\mathcal{N}(0, \mathbf{I})</math>），<math>f = g^{-1}</math> 是从数据 <math>\mathbf{x}</math> 到 <math>\mathbf{z}</math> 的可逆映射（编码器）。则 <math>\mathbf{x}</math> 的密度为：

第164行：第164行：

其中 <math>\odot</math> 为逐元素乘积，体现为空间的拉伸。NICE 的加性耦合对应于平移变换——只改变位置，不拉伸空间；RealNVP 的仿射耦合则允许缩放与平移的组合，更适合匹配真实数据中不同维度、不同尺度的变化。后续理论表明，缺乏这种"非体积保持"能力的流模型，在表达能力上存在本质限制<ref name="Draxler2024" />。

−

== ~~损失函数与最大似然训练~~ ==

+

== 损失函数与[[最大似然训练]] ==

RealNVP 通过最大化数据对数似然来训练，等价于最小化数据分布与模型分布的前向 KL 散度：

第182行：第182行：

损失函数包含两项：

* '''先验项''' <math>\log p_Z(f(\mathbf{x}))</math>：促使编码后的 <math>\mathbf{z}</math> 聚集在标准正态分布中心附近，相当于对潜在空间的正则化。

−

* '''行列式项'''~~：促使模型在数据密集的区域扩张体积、在稀疏区域收缩体积——这与信息论中将码空间分配给高概率事件的原则一致。~~

+

* '''行列式项'''：促使模型在数据密集的区域扩张体积、在稀疏区域收缩体积——这与[[信息论]]中将码空间分配给高概率事件的原则一致。

从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化推前分布与先验之间的反向 KL。

第289行：第289行：

由于模型学习了全数据分布的精确密度，它能对任意形状的掩码产生合理的语义补全，而非仅记忆特定训练掩码。

−

== 在 NIS/NIS+ ~~因果涌现框架中的应用~~ ==

+

== 在 NIS/NIS+ 因果[[涌现]]框架中的应用 ==

−

在 [[NIS]]~~（神经信息挤压器）及~~ [[NIS+]] 中，RealNVP ~~被用作可逆编码器（INN），粗粒化策略被建模为两阶段过程：~~

+

在 [[NIS]]（[[神经信息挤压器]]）及 [[NIS+]] 中，RealNVP 被用作可逆编码器（INN），粗粒化[[策略]]被建模为两阶段过程：

−

# '''无损变换'''：由 RealNVP ~~耦合层堆叠构成的可逆神经网络（INN）~~<math>\psi_\alpha: \mathbb{R}^p \to \mathbb{R}^p</math> 将微观状态 <math>\mathbf{x}_t</math> 映射到等维潜在空间 <math>\mathbf{x}'_t</math>。'''该阶段信息不丢失'''。

+

# '''无损变换'''：由 RealNVP 耦合层堆叠构成的[[可逆神经网络]]（INN）<math>\psi_\alpha: \mathbb{R}^p \to \mathbb{R}^p</math> 将微观状态 <math>\mathbf{x}_t</math> 映射到等维潜在空间 <math>\mathbf{x}'_t</math>。'''该阶段信息不丢失'''。

# '''信息丢弃'''：投影算子 <math>\chi_{p,q}</math> 丢弃 <math>p-q</math> 个维度，得到宏观状态 <math>\mathbf{y}_t = \chi_{p,q}(\psi_\alpha(\mathbf{x}_t))</math>。

第303行：第303行：

# '''精确可逆性'''：微观到潜在的变换不损失信息，信息丢弃量 <math>p-q</math> 成为显式可控的超参数。

# '''参数共享'''：<math>\psi_\alpha</math> 与 <math>\psi_\alpha^{-1}</math> 共用一套参数，显著压缩模型规模。

−

# '''行列式可解析'''~~：三角雅可比结构使有效信息（EI）上界和最优宏观维度~~ <math>q</math> 的存在性等核心定理得以严格推导。

+

# '''行列式可解析'''：三角雅可比结构使[[有效信息]]（[[EI]]）上界和最优宏观维度 <math>q</math> 的存在性等核心定理得以严格推导。

消融实验表明，若将 RealNVP 替换为普通前馈网络或 VAE，多步预测误差显著上升；在分布外泛化测试中，仅基于 RealNVP 的 NIS/NIS+ 保持了低误差。论文指出：'''可逆神经网络作为编码器和解码器是必需的'''。在 NIS+ 中，RealNVP 继续承担编码–解码功能，而 EI 最大化等改进发生在投影后的宏观动力学空间上，不改动 INN 模块本身<ref name="NISPlus2025">{{cite journal|author1=Yang M.|author2=Wang Z.|author3=Liu K.|author4=Rong Y.|author5=Yuan B.|author6=Zhang J.|title=Finding Emergence in Data by Maximizing Effective Information|journal=National Science Review|year=2025|volume=12|issue=1|page=nwae279}}</ref>。

第321行：第321行：

# Chen R. T. Q., Behrmann J., Duvenaud D., Jacobsen J.-H. Residual Flows for Invertible Generative Modeling. NeurIPS, 2019.

# Papamakarios G., Nalisnick E., Rezende D. J., Mohamed S., Lakshminarayanan B. Normalizing Flows for Probabilistic Modeling and Inference. Journal of Machine Learning Research, 2021, 22(57): 1-64.

−

# Zhang J., Liu K. Neural Information Squeezer for Causal Emergence. Entropy, 2022, 25(1): 26.

+

# Zhang J., Liu K. Neural Information Squeezer for [[Causal Emergence]]. [[Entropy]], 2022, 25(1): 26.

−

# Yang M., Wang Z., Liu K., Rong Y., Yuan B., Zhang J. Finding Emergence in Data by Maximizing Effective Information. National Science Review, 2025, 12(1): nwae279.

+

# Yang M., Wang Z., Liu K., Rong Y., Yuan B., Zhang J. Finding Emergence in Data by Maximizing [[Effective Information]]. National Science Review, 2025, 12(1): nwae279.

= 署名 =

第328行：第328行：

本词条由 [[用户:黄一凡|黄一凡]] 编写，[审阅者姓名] 审阅，[日期] 发布。

−

'''贡献者'''~~：集智百科团队~~

+

'''贡献者'''：[[集智百科]]团队

黄一凡

50

个编辑