更改

= 历史渊源 =

= 历史渊源 =

​

​

RealNVP 的提出是沿着一条从数学工具到建模范式、再到具体架构的线索逐步成形的：先有密度估计的建模需求与变量替换公式这一数学工具，再有标准化流框架的正式提出，最后才落地为 RealNVP 等可训练的深度模型。

RealNVP 的提出是沿着一条从数学工具到建模范式、再到具体架构的线索逐步成形的：先有密度估计的建模需求与[[变量替换公式]]这一数学工具，再有[[标准化流]]框架的正式提出，最后才落地为 RealNVP 等可训练的深度模型。

​

​

​

​

深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由雅可比行列式精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的独立成分分析（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''高斯化'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。

深度生成建模的一个核心需求，是既能精确计算数据的概率密度，又能从模型中高效采样。满足这一需求的数学工具是概率论中的[[变量替换公式]]：若变换可逆，变换前后的密度便由[[雅可比行列式]]精确联系。用可逆变换把复杂数据"[[归一化]]"到简单分布的尝试由来已久——从 1990 年代的[[独立成分分析]]（Independent Component Analysis，ICA），到 2000 年 Chen 与 Gopinath 的'''[[高斯化]]'''（Gaussianization）<ref name="Chen2000">{{cite conference|author1=Chen S. S.|author2=Gopinath R. A.|title=Gaussianization|conference=Advances in Neural Information Processing Systems (NIPS)|year=2000}}</ref>，都是这一思路的先驱。

​

​

​

​

这一思路被正式提炼为建模范式是在 2010 年：Tabak 与 Vanden-Eijnden 正式提出了"标准化流"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''基分布'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入变分推断<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。

这一思路被正式提炼为建模范式是在 2010 年：Tabak 与 Vanden-Eijnden 正式提出了"[[标准化流]]"（normalizing flow）的数学框架<ref name="Tabak2010">{{cite journal|author1=Tabak E. G.|author2=Vanden-Eijnden E.|title=Density Estimation by Dual Ascent of the Log-Likelihood|journal=Communications in Mathematical Sciences|year=2010|volume=8|issue=1|pages=217-233}}</ref>：通过一系列可微可逆映射的复合，让'''[[基分布]]'''（base distribution，变换起点的简单分布，通常取标准高斯；与变换要逼近的目标分布相对）像水流一样"流动"成目标分布，密度则由变量替换公式精确给出。2015 年，Rezende 与 Mohamed 将这一框架引入[[变分推断]]<ref name="Rezende2015" />，"标准化流"一词由此流行。作为一种建模范式，标准化流只规定变换必须可逆、基分布必须指定、密度由变量替换公式计算，而不限定变换的具体结构——这为不同的实现方案留出了空间。

​

​

​

​

最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''保持体积'''（volume preserving），但表达能力因此受限。

最早把这一框架落到实处的是 2014 年 Dinh 等人提出的 '''NICE'''（Non-linear Independent Components Estimation）<ref name="NICE2014">{{cite journal|author1=Dinh L.|author2=Krueger D.|author3=Bengio Y.|title=NICE: Non-linear Independent Components Estimation|journal=ICLR 2015 Workshop|year=2015|url=https://arxiv.org/abs/1410.8516}}</ref>。NICE 的关键创新是'''[[加性耦合层]]'''：将输入分成两半，其中一半直接保持不变，另一半则加上一个以第一半为条件的神经网络输出。由于该变换的雅可比行列式恒为 1，它'''[[保持体积]]'''（volume preserving），但表达能力因此受限。

​

​

​

​

2017 年的 RealNVP 在 NICE 的基础上将加性耦合扩展为仿射耦合，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的通用逼近器（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除耦合流一支外，标准化流还有自回归流、连续流等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。

2017 年的 RealNVP 在 NICE 的基础上将[[加性耦合]]扩展为[[仿射耦合]]，即以前一半变量为条件，对后一半变量先进行缩放再进行平移。这一改动使变换不再保持体积（non-volume preserving），增强了模型的表达能力，同时保留了计算上的便利性。后续的理论工作（Draxler et al., 2024）证明：[[体积保持]]的流'''不是'''分布的[[通用逼近器]]（universal approximator），而仿射耦合流在一定的良好条件下'''则是'''<ref name="Draxler2024">{{cite journal|author1=Draxler F.|author2=Wahl S.|author3=Schnörr C.|author4=Köthe U.|title=On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows|journal=Proceedings of the 41st International Conference on Machine Learning (ICML)|year=2024|publisher=PMLR 235}}</ref>。这从理论上解释了 RealNVP 相对于 NICE 的优势。除[[耦合流]]一支外，标准化流还有[[自回归流]]、[[连续流]]等其他实现路线（见"与相关框架的关系"一节）；RealNVP 是耦合流支线上的关键一环。

​

​

​

​

= 模型架构 =

= 模型架构 =