5,443
个编辑
更改
→有效信息的近似计算
=== 有效信息的近似计算 ===
=== 有效信息的近似计算 ===
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
有效信息基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
<math>
<math>
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY