RealNVP - 版本历史

Jake：/* 在 NIS/NIS+ 因果涌现框架中的应用 */

2026-09-10T22:55:50Z

在 NIS/NIS+ 因果涌现框架中的应用

Jake：/* 历史渊源 */

2026-09-10T22:43:20Z

历史渊源

Jake：/* 历史渊源 */

2026-09-10T22:41:43Z

历史渊源

2026年9月10日 (四) 22:39 Jake

2026-09-10T22:39:19Z

Matthew：/* 历史渊源 */

2026-09-08T01:47:17Z

历史渊源

黄一凡：修复部分图片显示问题

2026-09-07T11:12:46Z

修复部分图片显示问题

黄一凡：优化历史渊源部分语言、修复realnvp_multiscale.png 图片问题

2026-09-07T11:07:45Z

优化历史渊源部分语言、修复realnvp_multiscale.png 图片问题

黄一凡：术语规范：保留"基分布"译名，首次出现处加注（base distribution，变换起点的简单分布，通常取标准高斯，与目标分布相对）——会议共识为不换词、加英文注释；"普适逼近器"改为"通用逼近器（universal approximator）"并补全原句谓语（"……而仿射耦合流在一定的良好条件下则是"）；棋盘掩码、通道级掩码在首次出现处就地给出一句直觉解释，落实"术语首次出现均需解释"的原则。结构更名：原"= 算法框架 ="一节更名"= 模型架构 ="，避免"框架"一词暗示 RealNVP 与标准化流平级。历史渊源重写：整节由"两条主线"改为"需求—框架—实现"三层叙事——先讲生成建模的需求与变量替换公式这一数学工具（ICA、高斯化为先驱），再讲 Tabak & Vanden-Eijnden 2010 正式提出标准化流框架、Rezende & Mohamed 2015 推广该术语，最后讲 NICE、RealNVP 等具体实现；节末新增术语史段落：RealNVP 原文未自称"标准化流"，归类由 Kobyzev et al.（TPAMI 2021）与 Papamakarios

2026-09-07T07:54:30Z

术语规范：保留"基分布"译名，首次出现处加注（base distribution，变换起点的简单分布，通常取标准高斯，与目标分布相对）——会议共识为不换词、加英文注释；"普适逼近器"改为"通用逼近器（universal approximator）"并补全原句谓语（"……而仿射耦合流在一定的良好条件下则是"）；棋盘掩码、通道级掩码在首次出现处就地给出一句直觉解释，落实"术语首次出现均需解释"的原则。结构更名：原"= 算法框架 ="一节更名"= 模型架构 ="，避免"框架"一词暗示 RealNVP 与标准化流平级。历史渊源重写：整节由"两条主线"改为"需求—框架—实现"三层叙事——先讲生成建模的需求与变量替换公式这一数学工具（ICA、高斯化为先驱），再讲 Tabak & Vanden-Eijnden 2010 正式提出标准化流框架、Rezende & Mohamed 2015 推广该术语，最后讲 NICE、RealNVP 等具体实现；节末新增术语史段落：RealNVP 原文未自称"标准化流"，归类由 Kobyzev et al.（TPAMI 2021）与 Papamakarios

显示更改

黄一凡：术语规范：保留"基分布"译名，首次出现处加注（base distribution，变换起点的简单分布，通常取标准高斯，与目标分布相对）——会议共识为不换词、加英文注释；"普适逼近器"改为"通用逼近器（universal approximator）"并补全原句谓语（"……而仿射耦合流在一定的良好条件下则是"）；棋盘掩码、通道级掩码在首次出现处就地给出一句直觉解释，落实"术语首次出现均需解释"的原则。结构更名：原"= 算法框架 ="一节更名"= 模型架构 ="，避免"框架"一词暗示 RealNVP 与标准化流平级。历史渊源重写：整节由"两条主线"改为"需求—框架—实现"三层叙事——先讲生成建模的需求与变量替换公式这一数学工具（ICA、高斯化为先驱），再讲 Tabak & Vanden-Eijnden 2010 正式提出标准化流框架、Rezende & Mohamed 2015 推广该术语，最后讲 NICE、RealNVP 等具体实现；节末新增术语史段落：RealNVP 原文未自称"标准化流"，归类由 Kobyzev et al.（TPAMI 2021）与 Papamakarios

2026-09-06T12:42:37Z

显示更改

黄一凡：术语规范：保留"基分布"译名，首次出现处加注（base distribution，变换起点的简单分布，通常取标准高斯，与目标分布相对）——会议共识为不换词、加英文注释；"普适逼近器"改为"通用逼近器（universal approximator）"并补全原句谓语（"……而仿射耦合流在一定的良好条件下则是"）；棋盘掩码、通道级掩码在首次出现处就地给出一句直觉解释，落实"术语首次出现均需解释"的原则。结构更名：原"= 算法框架 ="一节更名"= 模型架构 ="，避免"框架"一词暗示 RealNVP 与标准化流平级。历史渊源重写：整节由"两条主线"改为"需求—框架—实现"三层叙事——先讲生成建模的需求与变量替换公式这一数学工具（ICA、高斯化为先驱），再讲 Tabak & Vanden-Eijnden 2010 正式提出标准化流框架、Rezende & Mohamed 2015 推广该术语，最后讲 NICE、RealNVP 等具体实现；节末新增术语史段落：RealNVP 原文未自称"标准化流"，归类由 Kobyzev et al.（TPAMI 2021）与 Papamakarios

2026-09-06T12:39:27Z

显示更改

@@ 第250行： / 第250行： @@
 == 在 [[NIS]]/[[NIS+]] 因果[[涌现]]框架中的应用 ==
-在神经信息挤压器（Neural Information Squeezer，NIS）及其扩展 NIS+（Neural Information Squeezer Plus）中，RealNVP 的'''基础仿射耦合模块'''被用于构建[[可逆神经网络]]（Invertible Neural Networks，INN）编码器——堆叠 3 层，<math>\mathbf{s}</math>、<math>\mathbf{t}</math> 为小型前馈网络——实现微观状态到宏观状态的可逆[[粗粒化]]。NIS 原文的表述本身即体现了范畴与实例的关系："There are several ways to realize an invertible neural network ... we select RealNVP module ... to concretely implement the invertible computation."（实现可逆神经网络有多种方式，本文选择 RealNVP 模块来具体实现可逆计算。）<ref name="NIS2023">{{cite journal|author1=Zhang J.|author2=Liu K.|title=Neural Information Squeezer for Causal Emergence|journal=Entropy|year=2023|volume=25|issue=1|page=26}}</ref>需要指出，此处复用的是部件而非完整模型：不含多尺度架构与高斯基分布，也不以似然为训练目标；同类的部件级复用还有 RevNet 的[[可逆残差结构]]<ref name="RevNet2017" />与 HiNet 的图像隐藏网络<ref name="HiNet2021">{{cite conference|author1=Jing J.|author2=Deng X.|author3=Xu M.|author4=Wang J.|author5=Guan Z.|title=HiNet: Deep Image Hiding by Invertible Network|conference=International Conference on Computer Vision (ICCV)|year=2021}}</ref>。NIS 中的粗粒化[[策略]]被建模为两阶段过程：
+在[[神经信息挤压器]]（Neural Information Squeezer，NIS）及其扩展 [[NIS+]]（Neural Information Squeezer Plus）中，RealNVP 的'''基础仿射耦合模块'''被用于构建[[可逆神经网络]]（Invertible Neural Networks，INN）编码器——堆叠 3 层，<math>\mathbf{s}</math>、<math>\mathbf{t}</math> 为小型前馈网络——实现微观状态到宏观状态的可逆[[粗粒化]]。NIS 原文的表述本身即体现了范畴与实例的关系："There are several ways to realize an invertible neural network ... we select RealNVP module ... to concretely implement the invertible computation."（实现可逆神经网络有多种方式，本文选择 RealNVP 模块来具体实现可逆计算。）<ref name="NIS2023">{{cite journal|author1=Zhang J.|author2=Liu K.|title=Neural Information Squeezer for Causal Emergence|journal=Entropy|year=2023|volume=25|issue=1|page=26}}</ref>需要指出，此处复用的是部件而非完整模型：不含多尺度架构与高斯基分布，也不以似然为训练目标；同类的部件级复用还有 RevNet 的[[可逆残差结构]]<ref name="RevNet2017" />与 HiNet 的图像隐藏网络<ref name="HiNet2021">{{cite conference|author1=Jing J.|author2=Deng X.|author3=Xu M.|author4=Wang J.|author5=Guan Z.|title=HiNet: Deep Image Hiding by Invertible Network|conference=International Conference on Computer Vision (ICCV)|year=2021}}</ref>。NIS 中的粗粒化[[策略]]被建模为两阶段过程：
 # '''无损变换'''：由 RealNVP 耦合层堆叠构成的 INN <math>\psi_\alpha: \mathbb{R}^p \to \mathbb{R}^p</math> 将微观状态 <math>\mathbf{x}_t</math> 映射到等维潜在空间 <math>\mathbf{x}'_t</math>。'''该阶段信息不丢失'''。

←上一版本		2026年9月10日 (四) 22:43的版本
第20行：		第20行：


−	2017 年的 RealNVP 在 NICE 的基础上将[[加性耦合]]扩展为[[仿射耦合]]，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的[[通用逼近器]]（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal\|author1=Draxler F.\|author2=Wahl S.\|author3=Schnörr C.\|author4=Köthe U.\|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows\|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)\|year=2024\|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除[[耦合流]]一支外，标准化流还有[[自回归流]]、[[连续流]]等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。	+	2017 年的 RealNVP 在 NICE 的基础上将[[加性耦合]]扩展为[[仿射耦合]]，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的[[通用逼近器]]（universal approximator），而仿射耦合流在一定的良好条件下'''则是通用逼近的'''<ref name="Draxler2024">{{cite journal\|author1=Draxler F.\|author2=Wahl S.\|author3=Schnörr C.\|author4=Köthe U.\|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows\|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)\|year=2024\|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除[[耦合流]]一支外，标准化流还有[[自回归流]]、[[连续流]]等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。

←上一版本		2026年9月10日 (四) 22:41的版本
第16行：		第16行：


−	最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal\|author1=Dinh L.\|author2=Krueger D.\|author3=Bengio Y.\|title=NICE: Non-linear Independent Components Estimation\|journal=ICLR 2015 Workshop\|year=2015\|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''[[保持体积]]'''（volume preserving），但表达能力因此受限。	+	最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''[[NICE]]'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal\|author1=Dinh L.\|author2=Krueger D.\|author3=Bengio Y.\|title=NICE: Non-linear Independent Components Estimation\|journal=ICLR 2015 Workshop\|year=2015\|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''[[保持体积]]'''（volume preserving），但表达能力因此受限。

←上一版本		2026年9月10日 (四) 22:39的版本
第1行：		第1行：
−	'''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值[[非体积保持]]变换）是一类基于[[标准化流]]（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal\|author1=Dinh L.\|author2=Sohl-Dickstein J.\|author3=Bengio S.\|title=Density Estimation Using Real NVP\|journal=International Conference on Learning Representations (ICLR)\|year=2017\|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''在标准化流的谱系中，RealNVP 属于[[耦合流]]（coupling flow）分支，与 ~~NICE、Glow~~ 同属一支，三者构成"加性耦合→仿射耦合→引入可逆 <math>1\times1</math> 卷积"的演进序列。RealNVP 的贡献也体现在两个层面：作为完整模型，它是标准化耦合流这一派的代表作；而其标志性的'''[[仿射耦合层]]'''~~又常被单独取出，作为通用可逆模块应用于标准化流之外的场合（见~~"应用"一节）。	+	'''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值[[非体积保持]]变换）是一类基于[[标准化流]]（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal\|author1=Dinh L.\|author2=Sohl-Dickstein J.\|author3=Bengio S.\|title=Density Estimation Using Real NVP\|journal=International Conference on Learning Representations (ICLR)\|year=2017\|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''在标准化流的谱系中，RealNVP 属于[[耦合流]]（coupling flow）分支，与[[NICE]]、[[Glow]] 同属一支，三者构成"加性耦合→仿射耦合→引入可逆 <math>1\times1</math> 卷积"的演进序列。RealNVP 的贡献也体现在两个层面：作为完整模型，它是标准化耦合流这一派的代表作；而其标志性的'''[[仿射耦合层]]'''又常被单独取出，作为通用可逆模块，它可以应用于标准化流之外的场合（见"应用"一节）。
	[[文件:Realnvp flow anim.gif\|缩略图\|332x332像素\|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]		[[文件:Realnvp flow anim.gif\|缩略图\|332x332像素\|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]

@@ 第4行： / 第4行： @@
 = 历史渊源 =
-RealNVP 的提出是沿着一条从数学工具到建模范式、再到具体架构的线索逐步成形的：先有密度估计的建模需求与变量替换公式这一数学工具，再有标准化流框架的正式提出，最后才落地为 RealNVP 等可训练的深度模型。
+RealNVP 的提出是沿着一条从数学工具到建模范式、再到具体架构的线索逐步成形的：先有密度估计的建模需求与[[变量替换公式]]这一数学工具，再有[[标准化流]]框架的正式提出，最后才落地为 RealNVP 等可训练的深度模型。
-深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由雅可比行列式精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的独立成分分析（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。
+深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由[[雅可比行列式]]精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的[[独立成分分析]]（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''[[高斯化]]'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。
-这一思路被正式提炼为建模范式是在 2010 年：Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''基分布'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入变分推断<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。
+这一思路被正式提炼为建模范式是在 2010 年：Tabak 与 Vanden-Eijnden 正式提出了"[[标准化流]]"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''[[基分布]]'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入[[变分推断]]<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。
-最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。
+最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''[[保持体积]]'''（volume preserving），但表达能力因此受限。
-年的 RealNVP 在 NICE 的基础上将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的通用逼近器（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除耦合流一支外，标准化流还有自回归流、连续流等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。
+年的 RealNVP 在 NICE 的基础上将[[加性耦合]]扩展为[[仿射耦合]]，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的[[通用逼近器]]（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除[[耦合流]]一支外，标准化流还有[[自回归流]]、[[连续流]]等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。
@@ 第28行： / 第28行： @@
 = 模型架构 =

@@ 第48行： / 第48行： @@
 由于每个压缩和分解步骤都要对空间或通道维度进行对半划分，各尺度的空间尺寸与通道数都必须是偶数；实际应用中通常把图像尺寸调整为偶数，或通过填充、裁剪等预处理满足该条件。
-[[文件:realnvp_multiscale.png|缩略图|RealNVP 多尺度分层架构示意图。每个尺度（Scale）内数据自上而下流动，尺度间自左向右推进。图中 Coupling 即正文的仿射耦合层（括号内 checkerboard、channel-wise 分别为棋盘掩码与通道级掩码），块内"→ BN"表示每个耦合层输出后接批量归一化；Squeeze 为压缩，Factor Out 为变量分解，Concatenation 为拼接；h⁽ⁱ⁾、z⁽ⁱ⁾ 与正文符号一致。|替代=|848x848px|居中]]
+[[文件:Realnvp multiscale.svg|替代=|居中|缩略图|1098x1098像素|RealNVP 多尺度分层架构示意图。每个尺度（Scale）内数据自上而下流动，尺度间自左向右推进。图中 Coupling 即正文的仿射耦合层（括号内 checkerboard、channel-wise 分别为棋盘掩码与通道级掩码），块内"→ BN"表示每个耦合层输出后接批量归一化；Squeeze 为压缩，Factor Out 为变量分解，Concatenation 为拼接；h⁽ⁱ⁾、z⁽ⁱ⁾ 与正文符号一致。]]
 == [[仿射耦合层]]：可逆的"条件变形" ==
-下图给出两个交替堆叠的仿射耦合层的前向流程。仿射耦合层是 RealNVP 的基本可逆变换单元；图中左半部分的符号与公式 (1) 一一对应。[[文件:仿射耦合_公式对齐.png|缩略图|两个交替堆叠的仿射耦合层（正向，从左到右）：左半与公式 (1) 一一对应——<math>\mathbf{x}_1</math> 直通（即 <math>\mathbf{y}_1=\mathbf{x}_1</math>），<math>\mathbf{x}_2</math> 经 <math>\mathbf{s}</math>、<math>\mathbf{t}</math> 给出的缩放与平移得到 <math>\mathbf{y}_2</math>；右半为下一耦合层（网络记为 <math>\mathbf{s}',\mathbf{t}'</math>），两半角色互换，输出 <math>\mathbf{y}'</math>。反向（从右到左）阅读即公式 (2) 的逆变换。|替代=|626x626px]]{{NumBlk|:|
+下图给出两个交替堆叠的仿射耦合层的前向流程。仿射耦合层是 RealNVP 的基本可逆变换单元；图中左半部分的符号与公式 (1) 一一对应。
 <math>
 \begin{cases}

@@ 第1行： / 第1行： @@
 '''RealNVP'''（'''Real-valued Non-Volume Preserving'''，实值[[非体积保持]]变换）是一类基于[[标准化流]]（normalizing flows）的深度生成模型，由 Laurent Dinh、Jascha Sohl-Dickstein 与 Samy Bengio 于 2017 年提出<ref name="Dinh2017">{{cite journal|author1=Dinh L.|author2=Sohl-Dickstein J.|author3=Bengio S.|title=Density Estimation Using Real NVP|journal=International Conference on Learning Representations (ICLR)|year=2017|url=https://arxiv.org/abs/1605.08803}}</ref>。它的核心思想可以概括为：'''用一个完全可逆的神经网络，将复杂的数据分布逐步变换为简单的高斯分布。由于变换可逆，模型既可正向精确计算数据的概率密度，也可反向直接从高斯分布采样生成新数据。'''在标准化流的谱系中，RealNVP 属于[[耦合流]]（coupling flow）分支，与 NICE、Glow 同属一支，三者构成"加性耦合→仿射耦合→引入可逆 <math>1\times1</math> 卷积"的演进序列。RealNVP 的贡献也体现在两个层面：作为完整模型，它是标准化耦合流这一派的代表作；而其标志性的'''[[仿射耦合层]]'''又常被单独取出，作为通用可逆模块应用于标准化流之外的场合（见"应用"一节）。
 [[文件:Realnvp flow anim.gif|缩略图|332x332像素|上图示意 RealNVP 的正向与反向流程：正向通过复合可逆变换将数据分布映射为标准高斯分布；反向则从高斯分布采样并逐层逆变换还原为数据。]]
 = 历史渊源 =
-RealNVP 的历史可以按"需求—框架—实现"三层来梳理：先有密度估计的建模需求与变量替换公式这一数学工具，再有标准化流框架的正式提出，最后才有 NICE、RealNVP 等具体实现方案。
+RealNVP 的提出是沿着一条从数学工具到建模范式、再到具体架构的线索逐步成形的：先有密度估计的建模需求与变量替换公式这一数学工具，再有标准化流框架的正式提出，最后才落地为 RealNVP 等可训练的深度模型。
-'''需求与原理'''：深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由雅可比行列式精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的独立成分分析（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。
+深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由雅可比行列式精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的独立成分分析（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。
-'''框架'''：2010 年，Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''基分布'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入变分推断<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。
+这一思路被正式提炼为建模范式是在 2010 年：Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''基分布'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入变分推断<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。
-'''实现'''：最早可训练的深度实现是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。
+最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。
-年的 RealNVP 将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的通用逼近器（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除耦合流一支外，标准化流还有自回归流、连续流等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。
+年的 RealNVP 在 NICE 的基础上将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的通用逼近器（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除耦合流一支外，标准化流还有自回归流、连续流等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。
-'''术语史'''：RealNVP 原论文通篇并未自称"标准化流"——该词在全文中仅出现于参考文献的标题里，作者当时将模型定位为基于[[变量替换公式]]、可精确计算[[似然]]的概率模型。将 RealNVP 正式归入标准化流大类下的耦合流分支，是由后来的综述文献确立的分类<ref name="Kobyzev2021">{{cite journal|author1=Kobyzev I.|author2=Prince S. J. D.|author3=Brubaker M. A.|title=Normalizing Flows: An Introduction and Review of Current Methods|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2021|volume=43|issue=11|pages=3964-3979|url=https://arxiv.org/abs/1908.09257}}</ref><ref name="Papamakarios2021" />。
+值得一提的是，RealNVP 原论文通篇并未自称"标准化流"——该词在全文中仅出现于参考文献的标题里，作者当时将模型定位为基于[[变量替换公式]]、可精确计算[[似然]]的概率模型。将 RealNVP 正式归入标准化流大类下的耦合流分支，是由后来的综述文献确立的分类<ref name="Kobyzev2021">{{cite journal|author1=Kobyzev I.|author2=Prince S. J. D.|author3=Brubaker M. A.|title=Normalizing Flows: An Introduction and Review of Current Methods|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2021|volume=43|issue=11|pages=3964-3979|url=https://arxiv.org/abs/1908.09257}}</ref><ref name="Papamakarios2021" />。
@@ 第49行： / 第48行： @@
 由于每个压缩和分解步骤都要对空间或通道维度进行对半划分，各尺度的空间尺寸与通道数都必须是偶数；实际应用中通常把图像尺寸调整为偶数，或通过填充、裁剪等预处理满足该条件。
-[[文件:realnvp_multiscale_v2.png|缩略图|RealNVP 多尺度分层架构示意图。每个尺度（Scale）内数据自上而下流动，尺度间自左向右推进。图中 Coupling 即正文的仿射耦合层（括号内 checkerboard、channel-wise 分别为棋盘掩码与通道级掩码），块内"→ BN"表示每个耦合层输出后接批量归一化；Squeeze 为压缩，Factor Out 为变量分解，Concatenation 为拼接；h⁽ⁱ⁾、z⁽ⁱ⁾ 与正文符号一致。|替代=|848x848px|居中]]
+[[文件:realnvp_multiscale.png|缩略图|RealNVP 多尺度分层架构示意图。每个尺度（Scale）内数据自上而下流动，尺度间自左向右推进。图中 Coupling 即正文的仿射耦合层（括号内 checkerboard、channel-wise 分别为棋盘掩码与通道级掩码），块内"→ BN"表示每个耦合层输出后接批量归一化；Squeeze 为压缩，Factor Out 为变量分解，Concatenation 为拼接；h⁽ⁱ⁾、z⁽ⁱ⁾ 与正文符号一致。|替代=|848x848px|居中]]
 == [[仿射耦合层]]：可逆的"条件变形" ==