5,443
个编辑
更改
跳到导航
跳到搜索
第121行：
第121行： − 在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。+ − 有效信息（Effective Information, EI）衡量输入与输出之间的互信息，其定义为+ − <math> I(X;Y)=\int p(X,Y)\ln\frac{p(X,Y)}{p(X)p(Y)},dX,dY. </math> − 在 NIS 框架中，令神经网络的输出 <math>Y=\mu(X)</math>，且假设在给定 <math>X</math> 的条件下输出服从多元高斯分布+ − <math> p(Y|X)=\frac{1}{\sqrt{(2\pi)^m|\Sigma|}}\exp\Biggl(-\frac{1}{2}(Y-\mu(X))^T\Sigma^{-1}(Y-\mu(X))\Biggr), </math>+ − 其中+ − <math>m</math> 为输出维度，+ − <math>\Sigma = \operatorname{diag}(\sigma_1^2,\sigma_2^2,\dots,\sigma_m^2)</math> 为噪声协方差矩阵。+ + + + + + + + − ====条件熵的计算==== − 条件熵 <math>H(Y\mid X)</math> 表示在已知 <math>X</math> 的条件下 <math>Y</math> 的不确定性。对于我们假设的条件高斯分布，其条件熵可通过下式计算： − <math> H(Y\mid X) = \frac{1}{2} \ln\Bigl((2\pi e)^m\,|\Sigma|\Bigr) </math>+ − 这个公式中：+ − <math>2\pi e</math> 是常数因子，来源于高斯分布积分的结果；+ − <math>m</math> 表示输出的维度，说明每个维度都对熵有贡献；+ − <math>|\Sigma|</math> 反映了协方差矩阵的“体积”，体积越大表示不确定性越高。 − 也可以将其拆分写为： − <math> H(Y\mid X) = \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) + \frac{1}{2}\ln|\Sigma| </math> − ====边际熵的近似====+ − 边际概率密度 <math>p(Y)</math> 是指在不考虑输入 <math>X</math> 的情况下 <math>Y</math> 的分布，定义为：+ + − <math> p(Y) = \int p(Y\mid X)\,p(X)\,dX </math> − 假设映射 <math>\mu(X)</math> 是光滑的，我们可以在每个 <math>X</math> 处作一阶泰勒展开，用局部线性化来近似。此时，输入与输出之间的局部关系由雅可比矩阵描述：+ + + − <math> J_{\mu}(X) = \frac{\partial \mu(X)}{\partial X} </math>+ − 雅可比矩阵的行列式 − <math> \det\Bigl(J_{\mu}(X)\Bigr) </math>+ − 表示映射在局部区域内对体积的拉伸或压缩因子。 − 同时，假设输入 <math>X</math> 均匀分布在区间 <math>[-L,,L]^n</math> 内，其归一化常数 <math>\rho</math> 为：+ − <math> \rho = (2L)^{-n} </math>+ − 利用局部线性近似，输出 <math>Y</math> 的边际概率密度可以近似为： − <math> p(Y) \approx \rho\, \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr| </math> − 边际熵 <math>H(Y)</math> 定义为：+ + + + + + − <math> H(Y) = -\int p(Y)\,\ln p(Y)\,dY </math>+ − 在近似下，可以写为：+ − − <math> H(Y) \approx -\ln \rho + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] </math> − 其中： − − <math>-\ln \rho</math> 来自归一化常数的贡献（注意：<math>-\ln \rho = n\ln(2L)</math>）； − <math>\mathbb{E}_{X\sim U([-L,,L]^n)}</math> 表示对输入 <math>X</math> 均匀分布的期望值，反映了不同输入下映射的局部缩放效应。 − − ====有效信息的表达==== − 有效信息用于衡量系统从输入到输出传递的信息量，其定义为输出的边际熵与条件熵之差： − − <math> EI = H(Y) - H(Y\mid X) </math> − 其中： − − <math>H(Y)</math> 是在不考虑输入情况下输出的总不确定性； − <math>H(Y\mid X)</math> 是在已知输入 <math>X</math> 后输出的剩余不确定性。 − − 利用前面得到的条件熵表达式： − − <math> H(Y\mid X) = \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) + \frac{1}{2}\ln|\Sigma| </math> − 以及边际熵的近似表达式（注意 <math>-\ln \rho = n\ln(2L)</math>）： − − <math> H(Y) \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] </math> − 因此，有效信息近似为： − − <math> EI \approx n\ln(2L) + \mathbb{E}_{X\sim U([-L,\,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J_{\mu}(X)\bigr)\Bigr|\Bigr] - \frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr) - \frac{1}{2}\ln|\Sigma| </math> − − 其中，<math>n\ln(2L)</math>：表示输入空间的大小对信息量的贡献，其中 <math>n</math> 是输入的维度，<math>2L</math> 为每个维度的总长度。 − <math>\mathbb{E}{X\sim U([-L,,L]^n)}\Bigl[\ln \Bigl|\det\bigl(J{\mu}(X)\bigr)\Bigr|\Bigr]</math>：反映了映射 <math>\mu</math> 在不同输入 <math>X</math> 下局部区域的缩放效果。雅可比行列式越大，表示映射对输入变化更敏感，可能传递更多信息。 − <math>\frac{m}{2}\Bigl(1+\ln(2\pi)\Bigr)</math> 与 <math>\frac{1}{2}\ln|\Sigma|</math>：这两项来自条件熵 <math>H(Y\mid X)</math>，描述了在已知输入后的输出不确定性，其中 <math>m</math> 是输出维度，而 <math>|\Sigma|</math> 衡量输出的噪声大小。
→有效信息的近似计算
=== 有效信息的近似计算 ===
=== 有效信息的近似计算 ===
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下：
==== 定义输入输出空间与噪声模型====
1. 输入空间：
输入 X 为 n 维向量，取值范围为 [-L, L]^n（L 为大整数）。
假设输入服从均匀分布：X ~ U([-L, L]^n)。
2. 输出空间与噪声模型：
输出 Y = μ(X)，其中 μ 是神经网络的确定性映射。
噪声模型假设：
高斯分布（使用均方误差损失时）：
p(Y|X) = (1 / sqrt((2π)^m|Σ|)) * exp(-0.5 * (Y - μ(X))^T * Σ^(-1) * (Y - μ(X))),
其中 Σ = diag(σ_1^2, ..., σ_m^2)，σ_i 为第 i 维输出的标准差。
拉普拉斯分布（使用平均绝对误差损失时）：
p(Y|X) = Π_{i=1}^m (1 / (2b_i)) * exp(-|y_i - μ_i(X)| / b_i),
其中 b_i 为第 i 维输出的尺度参数。
==== 步骤2：计算雅可比矩阵 ====
雅可比矩阵 ∂_X μ(X) 描述输入对输出的局部敏感性，其元素为：
∂_X μ(X) = [∂μ_i(X) / ∂x_j]_{n×m},
即第 i 个输出对第 j 个输入的偏导数矩阵。
关键作用：
行列式 det(∂_X μ(X)) 反映输入变化对输出的整体影响强度。
若行列式在所有输入点均为零，则EI为零（网络无法区分不同输入）。
==== 步骤3：NIS框架下的有效信息计算公式 ====
若存在至少一个输入点使 det(∂_X μ(X)) ≠ 0，则EI近似为：
EI ≈ n ln(2L) - (m / 2) * (1 + ln(2π)) - (1 / 2) * Σ_{i=1}^m ln(σ_i^2) + E_{X ~ U} [ln |det(∂_X μ(X))|].
其中， n ln(2L)为输入熵。表示输入空间的多样性，取值范围越大（L 越大），EI越高。
-(m / 2) * (1 + ln(2π))为输出维度惩罚。输出维度 m 越高，信息分散到更多维度，EI降低。
-(1 / 2) * Σ ln(σ_i^2)为噪声惩罚。噪声标准差 σ_i 越大，输出不确定性越高，EI降低。
E[ln |det(∂_X μ)|]为敏感度增益。雅可比行列式对数的期望值，衡量网络对输入变化的全局敏感性。行列式绝对值越大，EI越高。
==== 步骤4：蒙特卡洛采样实现期望计算 ====
数学期望 E_{X ~ U}[·] 通过以下步骤近似：
1. 均匀采样：从输入空间 [-L, L]^n 随机采样 N 个点（如 N=1000）。
2. 计算行列式：对每个采样点 X_k，计算雅可比矩阵 ∂_X μ(X_k) 及其行列式。
3. 对数平均：计算所有行列式对数的平均值：
E[ln |det(∂_X μ)|] ≈ (1 / N) * Σ_{k=1}^N ln |det(∂_X μ(X_k))|.
最终输出
将上述四项代入公式，即可得到神经网络的有效信息值。此方法通过解析公式与采样结合，显著降低了高维空间的计算复杂度，适用于实际场景中的EI评估。
=基于互信息方法量化联合效应=
=基于互信息方法量化联合效应=