更改

神经网络的有效信息计算 (查看源代码)

2025年6月14日 (六) 11:12的版本

添加65字节、 2025年6月14日 (六) 11:12

第83行：第83行：

=基于连续方法的有效信息计算=

−

在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。这里通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下：

+

在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化处理，然后基于频率估计出联合概率分布。然而，这种方法在高维空间下计算效率非常低，并且会低估低概率区域的概率值。这里我们通过引入高斯分布假说，从而提出了一种新的适用于高维连续变量的神经网络有效信息计算方法<ref name="NIS"/>。详细计算步骤如下：

==== 定义输入输出空间与噪声模型 ====

Jake

行政员、界面管理员、管理员

3,094

个编辑