更改

== 损失函数与[[最大似然训练]] ==

== 损失函数与[[最大似然训练]] ==

​

​

RealNVP 通过最大化数据对数似然来训练（这也是标准化流的通用训练方式），等价于最小化数据分布与模型分布的前向 KL 散度（Kullback-Leibler divergence，KL）：

RealNVP 通过最大化数据[[对数似然]]来训练（这也是[[标准化流]]的通用训练方式），等价于最小化数据分布与模型分布的前向 [[KL 散度]]（Kullback-Leibler divergence，KL）：

​

​

{{NumBlk|:|

{{NumBlk|:|

|{{EquationRef|6}}}}

|{{EquationRef|6}}}}

​

​

对于训练集 <math>\{\mathbf{x}^{(i)}\}_{i=1}^N</math>，使用蒙特卡洛近似：

对于训练集 <math>\{\mathbf{x}^{(i)}\}_{i=1}^N</math>，使用[[蒙特卡洛近似]]：

​

​

<math>

<math>

​

​

损失函数包含两项：

损失函数包含两项：

* '''先验项''' <math>\log p_Z(f(\mathbf{x}))</math>：促使编码后的分布整体逼近标准高斯，相当于对潜在空间的正则化。

* '''[[先验项]]''' <math>\log p_Z(f(\mathbf{x}))</math>：促使编码后的分布整体逼近[[标准高斯]]，相当于对[[潜在空间]]的[[正则化]]。

* '''行列式项'''：增大体积膨胀会提高似然，因此该项处处偏好扩张，与先验项的收缩压力相平衡——净效果是数据密集处扩张、稀疏处收缩，这与[[信息论]]中将码空间分配给高概率事件的原则一致。

* '''[[行列式项]]'''：增大[[体积膨胀]]会提高似然，因此该项处处偏好扩张，与先验项的收缩压力相平衡——净效果是数据密集处扩张、稀疏处收缩，这与[[信息论]]中将码空间分配给高概率事件的原则一致。

​

​

从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化推前分布（即数据分布经 <math>f</math> 映射到潜在空间后得到的分布）与先验之间的反向 KL。

从对偶视角看（Papamakarios et al., 2021）<ref name="Papamakarios2021">{{cite journal|author1=Papamakarios G.|author2=Nalisnick E.|author3=Rezende D. J.|author4=Mohamed S.|author5=Lakshminarayanan B.|title=Normalizing Flows for Probabilistic Modeling and Inference|journal=Journal of Machine Learning Research|year=2021|volume=22|issue=57|pages=1-64}}</ref>：在数据上最小化前向 KL，等价于在潜在空间中最小化[[推前分布]]（即数据分布经 <math>f</math> 映射到潜在空间后得到的分布）与先验之间的反向 KL。

​

​

'''实际训练配置'''：[[自适应矩估计]]（Adaptive Moment Estimation，Adam）优化器，权重衰减 <math>5\times10^{-5}</math>，批量大小 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math>（原论文取 <math>\alpha = 0.05</math>）处理，以缓解像素取值集中在 0 和 255 两个边界带来的问题。

'''实际训练配置'''：[[自适应矩估计]]（Adaptive Moment Estimation，Adam）优化器，[[权重衰减]] <math>5\times10^{-5}</math>，[[批量大小]] 64，先验为标准高斯。图像数据通常先经 logit 变换 <math>\operatorname{logit}(\alpha + (1-\alpha)\mathbf{x}/256)</math>（原论文取 <math>\alpha = 0.05</math>）处理，以缓解像素取值集中在 0 和 255 两个边界带来的问题。

​

​