5,443
个编辑
更改
→近似计算神经网络的有效信息
在传统方法中，计算有效信息（EI）通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
在传统方法中，计算有效信息（EI）通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
有效信息（EI）基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
有效信息（EI）基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：