集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

神经网络的有效信息计算 (查看源代码)

2025年2月21日 (五) 09:42的版本

删除1,179字节 、 2025年2月21日 (五) 09:42
→‎有效信息的近似计算
第123行： 第123行：  
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
 
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。
   −
有效信息基于输入 <math>X</math> 和输出 <math>Y</math> 的互信息定义为：
+
有效信息（Effective Information, EI）衡量输入与输出之间的互信息，其定义为
 +
<math> I(X;Y)=\int p(X,Y)\ln\frac{p(X,Y)}{p(X)p(Y)},dX,dY. </math>
   −
<math>
+
在 NIS 框架中，令神经网络的输出 <math>Y=\mu(X)</math>，且假设在给定 <math>X</math> 的条件下输出服从多元高斯分布
−
I(X; Y) = \int_{X,Y} p(X,Y) \ln \frac{p(X,Y)}{p(X)p(Y)} dXdY
+
<math> p(Y|X)=\frac{1}{\sqrt{(2\pi)^m|\Sigma|}}\exp\Biggl(-\frac{1}{2}(Y-\mu(X))^T\Sigma^{-1}(Y-\mu(X))\Biggr), </math>
−
</math>
+
其中
   −
为了简化计算，假设神经网络的输出 <math>Y</math> 可以用条件高斯分布建模，其条件概率密度函数为：
+
<math>m</math> 为输出维度，
 +
<math>\Sigma = \operatorname{diag}(\sigma_1^2,\sigma_2^2,\dots,\sigma_m^2)</math> 为噪声协方差矩阵。
   −
<math>
+
====条件熵的计算====
−
p(Y|X) = \frac{1}{\sqrt{(2\pi)^m |\Sigma|}} \exp\left( -\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X)) \right)
+
对于条件概率 <math>p(Y|X)</math>，高斯分布的条件熵为
−
</math>
+
<math> H(Y|X)=\frac{1}{2}\ln\Bigl((2\pi e)^m|\Sigma|\Bigr) =\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)+\frac{1}{2}\ln|\Sigma|. </math>
   −
其中：
+
====边际熵的近似====
−
<math>\mu(X)</math> 是神经网络的输出映射函数；
+
假设输入 <math>X</math> 均匀分布在超立方体 <math>U([-L,L]^n)</math> 上，且在局部可近似为线性映射
−
<math>\Sigma = \text{diag}(\sigma_1^2, \sigma_2^2, \ldots, \sigma_m^2)</math> 是协方差矩阵，其对角元素为每个输出维度的噪声方差；
+
<math> \mu(X')\approx \mu(X)+J_\mu(X)(X'-X), </math>
−
<math>m</math> 是输出维度。
+
其中
 +
<math> J_\mu(X)=\frac{\partial \mu(X)}{\partial X} </math>
 +
为雅可比矩阵。则输出 <math>Y</math> 的边际概率密度可近似为
 +
<math> p(Y)\propto \frac{1}{\bigl|\det(J_\mu(X))\bigr|}. </math>
 +
考虑均匀分布的归一化常数，边际熵近似为
 +
<math> H(Y)\approx -\mathbb{E}{X\sim U([-L,L]^n)}\Bigl[\ln\bigl|\det(J\mu(X))\bigr|\Bigr] +n\ln(2L). </math>
   −
基于这一假设，计算有效信息可分为两个主要部分：条件熵部分和边际熵部分。
+
====有效信息的表达====
 +
根据互信息的定义
 +
<math> EI = H(Y)-H(Y|X), </math>
 +
代入上述结果得
 +
<math> \begin{aligned} EI &\approx \Bigl[-\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L)\Bigr] -\Bigl[\frac{m}{2}(1+\ln(2\pi))+\frac{1}{2}\ln|\Sigma|\Bigr] \ &= -\mathbb{E}{X\sim U([-L,L]^n)}\ln\bigl|\det(J\mu(X))\bigr| +n\ln(2L) - \frac{m}{2}(1+\ln(2\pi))-\frac{1}{2}\ln|\Sigma|. \end{aligned} </math>
   −
根据条件概率密度的定义，条件熵可表示为：
+
该公式中：
   −
<math>
+
当存在 <math>X</math> 使得 <math>\det(J_\mu(X))\neq 0</math> 时，上式成立；
−
H(Y|X) = -\int_Y p(Y|X) \ln p(Y|X) dY
+
若对所有 <math>X</math> 有 <math>\det(J_\mu(X))\equiv 0</math>，则认为 EI≈0。
−
</math>
     −
将条件高斯分布代入公式并求积分，条件熵的计算结果为：
+
====维度归一化有效信息====
 +
为避免输入维度 <math>n</math> 对 EI 计算的影响，引入维度归一化有效信息（Dimension-Averaged Effective Information, dEI），定义为
 +
<math> dEI = \frac{EI}{n}. </math>
   −
<math>
+
将 EI 的表达式除以 <math>n</math> 后，即可比较不同系统或不同粗粒化尺度下的有效信息大小，而不受维度差异影响。
−
H(Y|X) = -\frac{m}{2} + m \ln(2\pi) + \frac{1}{2} \ln |\Sigma|
  −
</math>
  −
 
  −
其中：
  −
<math>\ln |\Sigma|</math> 是协方差矩阵对角元素的对数和（即 <math>\sum_{i=1}^m \ln \sigma_i^2</math>）。
  −
 
  −
边际熵通过边际概率密度 <math>p(Y)</math> 计算，定义为：
  −
 
  −
<math>
  −
H(Y) = -\int_Y p(Y) \ln p(Y) dY
  −
</math>
  −
 
  −
在高维输入空间中，假设输入 <math>X</math> 的分布是均匀分布 <math>U([-L, L]^n)</math>，且神经网络的映射 <math>Y = \mu(X)</math> 在局部上可近似为线性映射：
  −
 
  −
<math>
  −
\mu(X') \approx \mu(X) + J(X) (X' - X)
  −
</math>
  −
 
  −
其中：
  −
<math>J(X) = \frac{\partial \mu(X)}{\partial X}</math> 是雅可比矩阵，表示输入对输出的局部映射关系。
  −
 
  −
通过这一近似，输出的边际概率密度 <math>p(Y)</math> 可近似为：
  −
 
  −
<math>
  −
p(Y) \propto \frac{1}{|\text{det}(J(X))|}
  −
</math>
  −
 
  −
代入边际熵公式后，边际熵计算为：
  −
 
  −
<math>
  −
H(Y) = -\mathbb{E}_{X \sim U([-L, L]^n)} [\ln |\text{det}(J(X))|]
  −
</math>
  −
 
  −
根据互信息的定义 <math>I(X; Y) = H(Y) - H(Y|X)</math>，结合上述两部分的结果，得到有效信息的近似计算公式：
  −
 
  −
<math>
  −
EI_L \approx -\frac{m + m \ln(2\pi) + \ln |\det(\Sigma)|}{2} - \ln \rho + \mathbb{E}_{X \sim U([-L, L]^n)} \ln |\det(\partial_{X' }\mu(X))|
  −
 
  −
</math>
  −
 
  −
其中：
  −
<math>n</math> 和 <math>m</math>是分别表示输入和输出的维度；
  −
<math>L</math>为输入变量的取值范围；
  −
<math>\Sigma</math>是协方差矩阵；
  −
<math>\rho</math>为归一化因子，用于修正概率分布；
  −
<math>\partial_{X'} \mu(X)</math>表示输出对输入的导数矩阵，等价于雅可比矩阵；
  −
<math>|\det(\partial_{X'} \mu(X))|</math>为导数矩阵行列式的绝对值，表示输入输出的局部线性映射比例。
  −
 
  −
特殊情况如下：
  −
1.行列式为零的情况。当雅可比矩阵的行列式为零时，输出 <math>Y</math> 的分布在输入空间中没有对应点，导致边际熵无限大，但无有效输入扰动，因此有效信息为零。
  −
2.输出变量完全独立的情况.如果输出变量 <math>Y</math> 的每一维度相互独立，则雅可比矩阵为对角矩阵，其行列式为对角元素的乘积。此时，有效信息退化为简单的条件熵计算。
  −
 
  −
最后，为了避免输入维度对有效信息计算的影响，引入了归一化指标，即维度归一化有效信息（Dimension-Averaged Effective Information, dEI）：
  −
 
  −
<math>
  −
dEI = \frac{EI}{n}
  −
</math>
  −
 
  −
该指标通过归一化，使得有效信息的比较不受输入维度大小的影响，更适合不同规模系统的对比分析。
      
=基于互信息方法量化联合效应=
 
=基于互信息方法量化联合效应=
相信未来
5,443

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/41766”