259
个编辑
更改
无编辑摘要
== 数学推导 ==
== 数学推导 ==
式{{EquationNote|1}}中，数学形式是一个泛函问题，无法直接进行优化，学者将通过计算变分下界解决泛函问题。同时，在NIS+框架中，学者使用了编码器将p维的输入数据进行粗粒化，得到q维的宏观数据，下面编码器的通用逼近定理将证明编码器的可以近似粗粒化函数。
在此章节，我们将使用大写字母来表示相应的随机变量。
在此章节，我们将使用大写字母来表示相应的随机变量。
=== 样本重加权 ===
=== 样本重加权 ===
输入数据的分布会对结果产生一定的影响，为了减少此影响，学者需要对样本进行重加权。也就是通过为数据中的每个单元分配适当的权重来改变输入数据的分布，解决选择偏差问题。在因果机器学习、因果推断领域、因果特征学习（Causal feature learning）和稳定学习（Stable learning）中发挥着重要作用。可以使结果减少偏见的影响，提高模型在未知环境下的泛化能力。
为了使用逆概率加权技术，我们需要估计样本的概率分布。KDE(Kernel Density Estimation)是一种常用的估计方法，它可以有效地消除离群值对整体概率分布估计的影响。
为了使用逆概率加权技术，我们需要估计样本的概率分布。KDE(Kernel Density Estimation)是一种常用的估计方法，它可以有效地消除离群值对整体概率分布估计的影响。
式中，n表示样本数，超参数h表示带宽（根据数据的粗略范围确定），文章中，作者一般设为0.05。K是核函数，具体来说是标准正态密度函数。
式中，n表示样本数，超参数h表示带宽（根据数据的粗略范围确定），文章中，作者一般设为0.05。K是核函数，具体来说是标准正态密度函数。
得到估计函数后，对每个样本点单独求值，得到每个样本点对应的概率值<math>
p(y_t)
</math>。将目标分布(均匀分布)的概率<math>
\tilde{p}(y_t)
</math>除以我们估计的概率值，得到每个样本点对应的逆概率权值<math>
w(\boldsymbol{x}_t)
</math>。为了覆盖所有的样本点，需要用参数L来限制均匀分布的范围，以保证边长为2L的正方形可以覆盖所有维度的所有样本点。
此时获得的权重与样本量有关，因此需要对它们进行归一化。然而，这将导致与样本对应的权重值非常小。因此，有必要将它们乘以样本数量以将权重值放大回其正常范围。然后，将该权值乘以每个样本的训练损失，增强稀疏区域的训练，达到逆概率加权的目的。由于每次迭代时编码器参数都会发生变化，导致<math>
此时获得的权重与样本量有关，因此需要对它们进行归一化。然而，这将导致与样本对应的权重值非常小。因此，有必要将它们乘以样本数量以将权重值放大回其正常范围。然后，将该权值乘以每个样本的训练损失，增强稀疏区域的训练，达到逆概率加权的目的。由于每次迭代时编码器参数都会发生变化，导致<math>