5,443
个编辑
更改
跳到导航
跳到搜索
第123行：
第123行： − 有效信息基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：+ + − + − I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY+ − + − 为了简化计算，假设神经网络的输出 <math>Y</math> 可以用条件高斯分布建模，其条件概率密度函数为：+ + − + − p(Y|X) = \frac{1}{\sqrt{(2\pi)^m |\Sigma|}} \exp\left( -\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X)) \right)+ − + − 其中：+ − + − + − + + + + + + − 基于这一假设，计算有效信息可分为两个主要部分：条件熵部分和边际熵部分。+ + + + + − 根据条件概率密度的定义，条件熵可表示为：+ − + − H(Y|X) = -\int_Y p(Y|X) \ln p(Y|X) dY+ − − 将条件高斯分布代入公式并求积分，条件熵的计算结果为：+ + + − + − H(Y|X) = -\frac{m}{2} + m \ln(2\pi) + \frac{1}{2} \ln |\Sigma| − </math> − − 其中： − <math>\ln |\Sigma|</math> 是协方差矩阵对角元素的对数和（即 <math>\sum_{i=1}^m \ln \sigma_i^2</math>）。 − − 边际熵通过边际概率密度 <math>p(Y)</math> 计算，定义为： − − <math> − H(Y) = -\int_Y p(Y) \ln p(Y) dY − </math> − − 在高维输入空间中，假设输入 <math>X</math> 的分布是均匀分布 <math>U([-L, L]^n)</math>，且神经网络的映射 <math>Y = \mu(X)</math> 在局部上可近似为线性映射： − − <math> − \mu(X') \approx \mu(X) + J(X) (X' - X) − </math> − − 其中： − <math>J(X) = \frac{\partial \mu(X)}{\partial X}</math> 是雅可比矩阵，表示输入对输出的局部映射关系。 − − 通过这一近似，输出的边际概率密度 <math>p(Y)</math> 可近似为： − − <math> − p(Y) \propto \frac{1}{|\text{det}(J(X))|} − </math> − − 代入边际熵公式后，边际熵计算为： − − <math> − H(Y) = -\mathbb{E}_{X \sim U([-L, L]^n)} [\ln |\text{det}(J(X))|] − </math> − − 根据互信息的定义 <math>I(X; Y) = H(Y) - H(Y|X)</math>，结合上述两部分的结果，得到有效信息的近似计算公式： − − <math> − EI_L \approx -\frac{m + m \ln(2\pi) + \ln |\det(\Sigma)|}{2} - \ln \rho + \mathbb{E}_{X \sim U([-L, L]^n)} \ln |\det(\partial_{X' }\mu(X))| − − </math> − − 其中： − <math>n</math> 和 <math>m</math>是分别表示输入和输出的维度； − <math>L</math>为输入变量的取值范围； − <math>\Sigma</math>是协方差矩阵； − <math>\rho</math>为归一化因子，用于修正概率分布； − <math>\partial_{X'} \mu(X)</math>表示输出对输入的导数矩阵，等价于雅可比矩阵； − <math>|\det(\partial_{X'} \mu(X))|</math>为导数矩阵行列式的绝对值，表示输入输出的局部线性映射比例。 − − 特殊情况如下： − 1.行列式为零的情况。当雅可比矩阵的行列式为零时，输出 <math>Y</math> 的分布在输入空间中没有对应点，导致边际熵无限大，但无有效输入扰动，因此有效信息为零。 − 2.输出变量完全独立的情况.如果输出变量 <math>Y</math> 的每一维度相互独立，则雅可比矩阵为对角矩阵，其行列式为对角元素的乘积。此时，有效信息退化为简单的条件熵计算。 − − 最后，为了避免输入维度对有效信息计算的影响，引入了归一化指标，即维度归一化有效信息（Dimension-Averaged Effective Information, dEI）： − − <math> − dEI = \frac{EI}{n} − − − 该指标通过归一化，使得有效信息的比较不受输入维度大小的影响，更适合不同规模系统的对比分析。
→有效信息的近似计算
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
有效信息（Effective Information, EI）衡量输入与输出之间的互信息，其定义为
<math> I(X;Y)=\int p(X,Y)\ln\frac{p(X,Y)}{p(X)p(Y)},dX,dY. </math>
<math>
在 NIS 框架中，令神经网络的输出 <math>Y=\mu(X)</math>，且假设在给定 <math>X</math> 的条件下输出服从多元高斯分布
<math> p(Y|X)=\frac{1}{\sqrt{(2\pi)^m|\Sigma|}}\exp\Biggl(-\frac{1}{2}(Y-\mu(X))^T\Sigma^{-1}(Y-\mu(X))\Biggr), </math>
</math>
其中
<math>m</math> 为输出维度，
<math>\Sigma = \operatorname{diag}(\sigma_1^2,\sigma_2^2,\dots,\sigma_m^2)</math> 为噪声协方差矩阵。
<math>
====条件熵的计算====
对于条件概率 <math>p(Y|X)</math>，高斯分布的条件熵为
</math>
<math> H(Y|X)=\frac{1}{2}\ln\Bigl((2\pi e)^m|\Sigma|\Bigr) =\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)+\frac{1}{2}\ln|\Sigma|. </math>
====边际熵的近似====
<math>\mu(X)</math> 是神经网络的输出映射函数；
假设输入 <math>X</math> 均匀分布在超立方体 <math>U([-L,L]^n)</math> 上，且在局部可近似为线性映射
<math>\Sigma = \text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math> 是协方差矩阵，其对角元素为每个输出维度的噪声方差；
<math> \mu(X')\approx \mu(X)+J_\mu(X)(X'-X), </math>
<math>m</math> 是输出维度。
其中
<math> J_\mu(X)=\frac{\partial \mu(X)}{\partial X} </math>
为雅可比矩阵。则输出 <math>Y</math> 的边际概率密度可近似为
<math> p(Y)\propto \frac{1}{\bigl|\det(J_\mu(X))\bigr|}. </math>
考虑均匀分布的归一化常数，边际熵近似为
<math> H(Y)\approx -\mathbb{E}{X\sim U([-L,L]^n)}\Bigl[\ln\bigl|\det(J\mu(X))\bigr|\Bigr] +n\ln(2L). </math>
====有效信息的表达====
根据互信息的定义
<math> EI = H(Y)-H(Y|X), </math>
代入上述结果得
<math> \begin{aligned} EI &\approx \Bigl[-\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L)\Bigr] -\Bigl[\frac{m}{2}(1+\ln(2\pi))+\frac{1}{2}\ln|\Sigma|\Bigr] \ &= -\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L) - \frac{m}{2}(1+\ln(2\pi))-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>
该公式中：
<math>
当存在 <math>X</math> 使得 <math>\det(J_\mu(X))\neq 0</math> 时，上式成立；
若对所有 <math>X</math> 有 <math>\det(J_\mu(X))\equiv 0</math>，则认为 EI≈0。
</math>
====维度归一化有效信息====
为避免输入维度 <math>n</math> 对 EI 计算的影响，引入维度归一化有效信息（Dimension-Averaged Effective Information, dEI），定义为
<math> dEI = \frac{EI}{n}. </math>
<math>
将 EI 的表达式除以 <math>n</math> 后，即可比较不同系统或不同粗粒化尺度下的有效信息大小，而不受维度差异影响。
</math>
=基于互信息方法量化联合效应=
=基于互信息方法量化联合效应=