Realnvp - 版本历史

黄一凡：尝试重定向

2026-07-23T08:24:10Z

尝试重定向

显示更改

黄一凡：重定向页面至RealNVP

2026-07-23T08:21:27Z

重定向页面至RealNVP

黄一凡：多尺度架构图图注修改

2026-07-22T11:16:59Z

多尺度架构图图注修改

黄一凡：调整图片位置

2026-07-22T11:12:54Z

调整图片位置

黄一凡：1. 调整目录结构 2. NIS相关表述修正 3. 重写了算法框架章节、重绘了多尺度架构图 4. 插入 `仿射耦合.png`；移除与 `Realnvp flow anim.gif` 内容重复的 `Coupling anim.gif` 5. 降低 gif 分辨率 6. 调整语言

2026-07-22T11:01:12Z

1. 调整目录结构 2. NIS相关表述修正 3. 重写了算法框架章节、重绘了多尺度架构图 4. 插入 `仿射耦合.png`；移除与 `Realnvp flow anim.gif` 内容重复的 `Coupling anim.gif` 5. 降低 gif 分辨率 6. 调整语言

显示更改

黄一凡：重编排标题

2026-07-20T06:42:24Z

重编排标题

2026年7月19日 (日) 15:35 黄一凡

2026-07-19T15:35:19Z

黄一凡：更新图片注解

2026-07-19T15:30:56Z

更新图片注解

黄一凡：增加动图注解

2026-07-19T15:27:44Z

增加动图注解

黄一凡：宏观流程图加了一段介绍；优化文字

2026-07-19T15:21:13Z

宏观流程图加了一段介绍；优化文字

显示更改

←上一版本		2026年7月23日 (四) 08:21的版本
第1行：		第1行：
		+	#重定向 [[RealNVP]]
	'''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值非体积保持变换）是一类基于标准化流（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal\|author1=Dinh L.\|author2=Sohl-Dickstein J.\|author3=Bengio S.\|title=Density Estimation Using Real NVP\|journal=International Conference on Learning Representations (ICLR)\|year=2017\|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''		'''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值非体积保持变换）是一类基于标准化流（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal\|author1=Dinh L.\|author2=Sohl-Dickstein J.\|author3=Bengio S.\|title=Density Estimation Using Real NVP\|journal=International Conference on Learning Representations (ICLR)\|year=2017\|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''
	[[文件:Realnvp flow anim.gif\|缩略图\|332x332像素\|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]		[[文件:Realnvp flow anim.gif\|缩略图\|332x332像素\|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]

@@ 第23行： / 第23行： @@
 RealNVP 把若干可逆模块按顺序堆叠，形成从数据空间到潜在空间的完整映射。其网络主体由四个功能模块组成：'''仿射耦合层'''（coupling）负责可逆的特征变换，每个耦合层输出后接'''批量归一化'''（batch normalization）以稳定训练；'''压缩'''（squeeze）负责降低空间分辨率并把信息重排到通道；'''变量分解'''（factor out）负责在每个尺度末尾抽取一部分变量作为潜在编码。其中，仿射耦合层通过 空间棋盘（checkerboard）与通道级（channel-wise）两种掩码实现，二者交替使用。
-[[文件:Realnvp multiscale.svg|缩略图|RealNVP 多尺度分层架构示意图。|替代=|753x753像素]]
+[[文件:Realnvp multiscale.svg|缩略图|RealNVP 多尺度分层架构示意图。BN 为批量归一化（Batch Normalization）操作的简写。|替代=|753x753像素]]
-如上图所示，输入图像 <math>\mathbf{x}</math> 首先进入 Scale 1。每个非末尺度内部依次经过 3 个 checkerboard 掩码的耦合层（每个耦合层输出后接批量归一化）、Squeeze 压缩块、再 3 个 channel-wise 掩码的耦合层（同样每个后接批量归一化），最后通过 Factor Out 把当前特征一分为二；末尺度则只经过 4 个 checkerboard 耦合层（同样每个后接批量归一化）就进行 Factor Out。一半结果作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。不同尺度之间通过折线连接，最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。
+如上图所示，输入图像 <math>\mathbf{x}</math> 首先进入第一层 Scale 1。每个非末尺度内部依次经过 3 个 checkerboard 掩码的耦合层Coupling（每个耦合层输出后接批量归一化BN）、压缩块Squeeze 、再 3 个 channel-wise 掩码的耦合层（同样每个后接批量归一化），最后通过变量分解 Factor Out 把当前特征一分为二；末尺度则只经过 4 个 checkerboard 耦合层（同样每个后接批量归一化）就进行 Factor Out。一半结果作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。不同尺度之间通过折线连接，最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。
 正向流程可概括为：

@@ 第23行： / 第23行： @@
 RealNVP 把若干可逆模块按顺序堆叠，形成从数据空间到潜在空间的完整映射。其网络主体由四个功能模块组成：'''仿射耦合层'''（coupling）负责可逆的特征变换，每个耦合层输出后接'''批量归一化'''（batch normalization）以稳定训练；'''压缩'''（squeeze）负责降低空间分辨率并把信息重排到通道；'''变量分解'''（factor out）负责在每个尺度末尾抽取一部分变量作为潜在编码。其中，仿射耦合层通过 空间棋盘（checkerboard）与通道级（channel-wise）两种掩码实现，二者交替使用。
-[[文件:Realnvp multiscale.svg|缩略图|center|RealNVP 多尺度分层架构示意图。]]
+[[文件:Realnvp multiscale.svg|缩略图|RealNVP 多尺度分层架构示意图。|替代=|753x753像素]]
 如上图所示，输入图像 <math>\mathbf{x}</math> 首先进入 Scale 1。每个非末尺度内部依次经过 3 个 checkerboard 掩码的耦合层（每个耦合层输出后接批量归一化）、Squeeze 压缩块、再 3 个 channel-wise 掩码的耦合层（同样每个后接批量归一化），最后通过 Factor Out 把当前特征一分为二；末尺度则只经过 4 个 checkerboard 耦合层（同样每个后接批量归一化）就进行 Factor Out。一半结果作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半 <math>\mathbf{h}^{(i)}</math> 继续传入下一尺度。不同尺度之间通过折线连接，最终把每个 <math>\mathbf{z}^{(i)}</math> 展平为向量后按顺序拼接成完整潜变量 <math>\mathbf{z}</math>。虽然各 <math>\mathbf{z}^{(i)}</math> 的展平长度不同（依次为 <math>HWC/2, HWC/4, \dots, HWC/2^{L-1}</math>），但它们的总和恰好等于输入维度 <math>HWC</math>，因此整体变换保持维度不变。这种分层设计的意图是：早期尺度保留高分辨率的局部细节，后期尺度处理低分辨率的全局结构，并通过逐步分解减少后续层的计算量。
@@ 第58行： / 第58行： @@
 |{{EquationRef|2}}}}
-[[文件:仿射耦合.png|缩略图|center|仿射耦合层示意图：正向（从左到右）将输入分块并变换，反向（从右到左）逐块还原。]]
+[[文件:仿射耦合.png|缩略图|仿射耦合层示意图：正向（从左到右）将输入分块并变换，反向（从右到左）逐块还原。|替代=]]
 无需对 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求逆，只需按逆变换公式进行减法和除法即可。因此'''编码（求密度）和解码（采样）同样高效'''。
@@ 第334行： / 第334行： @@
 '''贡献者'''：集智百科团队

@@ 第1行： / 第1行： @@
 '''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值非体积保持变换）是一类基于标准化流（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal|author1=Dinh L.|author2=Sohl-Dickstein J.|author3=Bengio S.|title=Density Estimation Using Real NVP|journal=International Conference on Learning Representations (ICLR)|year=2017|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''
 [[文件:Realnvp flow anim.gif|缩略图|332x332像素|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]
@@ 第19行： / 第17行： @@
 <!-- 图1：NICE 的加性耦合 vs RealNVP 的仿射耦合（2D 示意图） -->
-= 主要内容 =
+= 算法框架 =
 RealNVP 的完整架构由四种模块递归堆叠而成：'''仿射耦合层'''、'''掩码卷积分区'''、'''多尺度压缩与分解'''，以及'''耦合层批量归一化'''。正向传播（编码）流程为：
@@ 第33行： / 第29行： @@
 如上图所示，RealNVP 的多尺度编码从原始图像 <math>\mathbf{x}</math> 开始，逐尺度交替使用 checkerboard 与 channel-wise 掩码的仿射耦合层，并通过 Squeeze 减半空间分辨率；每个尺度末端的 Factor Out 将一半变量作为 <math>\mathbf{z}^{(i)}</math> 抽出，另一半继续进入下一尺度。最终所有 <math>\mathbf{z}^{(i)}</math> 拼接为完整潜变量 <math>\mathbf{z}</math>。
-=== 仿射耦合层：可逆的"条件变形" ===
+== 仿射耦合层：可逆的"条件变形" ==
 仿射耦合层是 RealNVP 的基本单元。给定 <math>D</math> 维输入 <math>\mathbf{x}</math>，输入被分为两部分：前 <math>d</math> 维"被动"（不变），后 <math>D-d</math> 维"主动"（被变形）：
@@ 第61行： / 第57行： @@
-=== 掩码卷积的两种分区模式 ===
+== 掩码卷积的两种分区模式 ==
 上述将输入分成两部分的操作可以按不同方式实现。针对图像数据，RealNVP 设计了两种掩码：
@@ 第72行： / 第68行： @@
 <!-- 图3：Checkerboard masking 与 Channel-wise masking 的对比示意图 -->
-=== 多尺度架构：分层打包潜在变量 ===
+== 多尺度架构：分层打包潜在变量 ==
 直接对高维图像（如 <math>64\times64\times3</math>）进行全维度耦合计算代价较高。RealNVP 采用 VGG 网络"降采样同时加深通道"的策略，引入两个关键操作：
@@ 第87行： / 第83行： @@
 <!-- 图4：多尺度架构流程图 -->
-=== 批量归一化：训练深层的稳定器 ===
+== 批量归一化：训练深层的稳定器 ==
 在耦合层之间插入批量归一化（BatchNorm），对每个维度做线性缩放：
@@ 第97行： / 第93行： @@
 它的雅可比行列式是各维度缩放因子的乘积，可直接加入对数似然。此外，BatchNorm 起到训练深耦合层堆叠时的稳定作用——它抑制了由缩放参数 <math>\exp(\mathbf{s})</math> 引起的数值爆炸，使梯度稳定传播。
-== 数学原理 ==
+= 数学原理 =
-=== 标准化流与变量替换公式 ===
+== 标准化流与变量替换公式 ==
 标准化流的核心是概率论中的'''变量替换公式'''（change of variables）。设 <math>\mathbf{z} \sim p_Z(\mathbf{z})</math> 是已知先验（通常取标准正态 <math>\mathcal{N}(0, \mathbf{I})</math>），<math>f = g^{-1}</math> 是从数据 <math>\mathbf{x}</math> 到 <math>\mathbf{z}</math> 的可逆映射（编码器）。则 <math>\mathbf{x}</math> 的密度为：
@@ 第125行： / 第121行： @@
 采样时通过逆向进行：<math>\mathbf{z} \sim p_Z</math>，<math>\mathbf{x} = g(\mathbf{z}) = f_1^{-1} \circ \cdots \circ f_K^{-1}(\mathbf{z})</math>，所有步骤均可并行。
-=== 仿射耦合的雅可比行列式与可逆性 ===
+== 仿射耦合的雅可比行列式与可逆性 ==
 仿射耦合层对前 <math>d</math> 维进行恒等映射，对后 <math>D-d</math> 维进行仿射映射，因而雅可比矩阵具有分块三角结构：
@@ 第149行： / 第145行： @@
 仿射耦合的逆变换为：对于公式 ({{EquationNote|1}}) 中的前向变换，经过代数变换即可得到公式 ({{EquationNote|2}}) 中的逆变换。无需对 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求逆，只需按逆变换公式进行减法和除法即可。因此'''编码（求密度）和解码（采样）同样高效'''。
-=== 加性耦合、仿射耦合与体积保持 ===
+== 加性耦合、仿射耦合与体积保持 ==
 下表对比了三种耦合方式：
@@ 第166行： / 第162行： @@
 其中 <math>\odot</math> 为逐元素乘积，体现为空间的拉伸。NICE 的加性耦合对应于平移变换——只改变位置，不拉伸空间；RealNVP 的仿射耦合则允许缩放与平移的组合，更适合匹配真实数据中不同维度、不同尺度的变化。后续理论表明，缺乏这种"非体积保持"能力的流模型，在表达能力上存在本质限制<ref name="Draxler2024" />。
-=== 损失函数与最大似然训练 ===
+== 损失函数与最大似然训练 ==
 RealNVP 通过最大化数据对数似然来训练，等价于最小化数据分布与模型分布的前向 KL 散度：
@@ 第190行： / 第186行： @@
 '''实际训练配置'''：Adam 优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math> 处理，以消除像素边界的边界效应。
-== 优缺点 ==
+= 优缺点 =
-=== 优势 ===
+== 优势 ==
 * '''精确且可处理的对数似然'''：无需变分下界或对抗训练，直接给出数据的精确密度值，适用于异常检测、贝叶斯推断等需要显式概率的场景。
@@ 第200行： / 第196行： @@
 * '''综合多种模型特性'''：兼具自回归模型的精确似然、VAE 的快速采样、以及不依赖固定重建损失的生成能力。
-=== 局限 ===
+== 局限 ==
 * '''似然性能未达最优'''：在 bits/dim 上仍略逊于 PixelRNN 等先进自回归基线。
@@ 第208行： / 第204行： @@
 * '''分区固定性'''：掩码模式在训练前固定，Glow 的可逆 <math>1\times1</math> 卷积通过学习置换提供了更灵活的分区<ref name="Glow2018">{{cite journal|author1=Kingma D. P.|author2=Dhariwal P.|title=Glow: Generative Flow with Invertible 1×1 Convolutions|journal=NeurIPS|year=2018}}</ref>。
-=== 与相关框架的关系 ===
+== 与相关框架的关系 ==
 RealNVP 在标准化流的发展中处于承上启下的位置：

@@ 第11行： / 第11行： @@
 RealNVP 建立在早期标准化流工作之上，其发展有两条主线。
-== 第一条脉络：可逆变换的"分层堆叠"思想 ==
+第一条主线是可逆变换的"分层堆叠"思想。从 1990 年代的独立成分分析（ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，研究者一直尝试用可逆变换将复杂数据"归一化"到简单分布。2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架——通过一系列可逆映射，让基分布像水流一样"流动"成目标分布<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>。
-从 1990 年代的独立成分分析（ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，研究者一直尝试用可逆变换将复杂数据"归一化"到简单分布。2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架——通过一系列可逆映射，让基分布像水流一样"流动"成目标分布<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>。
+第二条主线是耦合层的发明与升级。2014 年，Dinh 等人提出了 '''NICE'''（Non-linear Independent Components Estimation），首次使深度可逆网络可训练<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2014|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的核心 trick 是'''加性耦合层'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。
 年的 RealNVP 将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：体积保持的流'''不是'''分布的普适逼近器，而仿射耦合流在良好条件下是<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。

@@ 第49行： / 第49行： @@
 </math>
 |{{EquationRef|1}}}}
-[[文件:Coupling anim.gif|缩略图|332x332像素|上图示意仿射耦合层的前向与逆向过程：输入被分为两部分，一部分保持不变并作为条件输入 <nowiki><math>\mathbf{x}</nowiki>''{1:d}<nowiki></math></nowiki>，另一部分 <nowiki><math>\mathbf{x}</nowiki>''{d+1:D}<nowiki></math></nowiki> 由神经网络生成的缩放 <nowiki><math>\mathbf{s}</math></nowiki> 与平移 <nowiki><math>\mathbf{t}</math></nowiki> 参数进行变换；逆向时只需用同一组参数执行减法和除法即可恢复原始输入。]]
+[[文件:Coupling anim.gif|缩略图|332x332像素|仿射耦合层的前向与逆向过程示意]]
 这里 <math>\mathbf{s}</math>（scale，缩放）和 <math>\mathbf{t}</math>（translation，平移）是两个深度神经网络（通常是 CNN）。<math>\odot</math> 为逐元素乘积。由于 <math>\mathbf{s}</math> 和 <math>\mathbf{t}</math> 的输入只来自不变的那一半，输出只作用在可变的那一半，整个变换的雅可比矩阵是下三角块结构，行列式即为对角线元素的乘积——计算复杂度从 <math>O(D^3)</math> 降到 <math>O(D)</math>。此外，逆变换为：
@@ 第63行： / 第63行： @@
 无需对 <math>\mathbf{s}</math> 或 <math>\mathbf{t}</math> 求逆，只需按逆变换公式进行减法和除法即可。因此'''编码（求密度）和解码（采样）同样高效'''。
-<!-- 图2：仿射耦合层前向/逆向流程图 -->
 === 掩码卷积的两种分区模式 ===