5,443
个编辑
更改
→有效信息的近似计算
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下：
在传统方法中，计算有效信息通常需要对输入和输出空间进行离散化，并基于频率估计概率分布。然而，这种方法在高维空间下计算效率低，并且对低概率区域的估计不准确。NIS框架通过引入基于雅可比矩阵的近似方法，提出了适用于神经网络的有效信息计算公式。详细计算步骤如下：
==== 定义输入输出空间与噪声模型====
==== 定义输入输出空间与噪声模型 ====
1. 输入空间：
1. 输入空间：
输入 X 为 n 维向量，取值范围为 [-L, L]^n（L 为大整数）。
输入 <math>X</math> 为 <math>n</math> 维向量，取值范围为 <math>[-L, L]^n</math>（<math>L</math> 为大整数）。
假设输入服从均匀分布：<math>X \sim U([-L, L]^n)</math>。
2. 输出空间与噪声模型：
2. 输出空间与噪声模型：
输出 Y = μ(X)，其中 μ 是神经网络的确定性映射。
输出 <math>Y = \mu(X)</math>，其中 <math>\mu</math> 是神经网络的确定性映射。
噪声模型假设：
噪声模型假设：
高斯分布（使用均方误差损失时）：
高斯分布（使用均方误差损失时）：
p(Y|X) = (1 / sqrt((2π)^m|Σ|)) * exp(-0.5 * (Y - μ(X))^T * Σ^(-1) * (Y - μ(X))),
<math> p(Y|X) = \frac{1}{\sqrt{(2\pi)^m|\Sigma|}} \exp\left(-\frac{1}{2}(Y - \mu(X))^T \Sigma^{-1} (Y - \mu(X))\right), </math>
其中 Σ = diag(σ_1^2, ..., σ_m^2)，σ_i 为第 i 维输出的标准差。
其中 <math>\Sigma = \operatorname{diag}(\sigma_1^2, \dots, \sigma_m^2)</math>，<math>\sigma_i</math> 为第 <math>i</math> 维输出的标准差。
拉普拉斯分布（使用平均绝对误差损失时）：
拉普拉斯分布（使用平均绝对误差损失时）：
p(Y|X) = Π_{i=1}^m (1 / (2b_i)) * exp(-|y_i - μ_i(X)| / b_i),
<math> p(Y|X) = \prod_{i=1}^m \frac{1}{2b_i} \exp\left(-\frac{|y_i - \mu_i(X)|}{b_i}\right), </math>
其中 b_i 为第 i 维输出的尺度参数。
其中 <math>b_i</math> 为第 <math>i</math> 维输出的尺度参数。
==== 计算雅可比矩阵 ====
==== 计算雅可比矩阵====
雅可比矩阵 ∂_X μ(X) 描述输入对输出的局部敏感性，其元素为：
雅可比矩阵 <math>\partial_X \mu(X)</math> 描述输入对输出的局部敏感性，其元素为：
<math> \partial_X \mu(X) = \left[ \frac{\partial \mu_i(X)}{\partial x_j} \right]_{n \times m}, </math>
即第 i 个输出对第 j 个输入的偏导数矩阵。
即第 <math>i</math> 个输出对第 <math>j</math> 个输入的偏导数矩阵。
关键作用：
关键作用：
行列式 det(∂_X μ(X)) 反映输入变化对输出的整体影响强度。
行列式 <math>\det(\partial_X \mu(X))</math> 反映输入变化对输出的整体影响强度。
若行列式在所有输入点均为零，则EI为零（网络无法区分不同输入）。
若行列式在所有输入点均为零，则EI为零（网络无法区分不同输入）。
==== NIS框架下的有效信息计算公式 ====
==== NIS框架下的有效信息计算公式====
若存在至少一个输入点使 det(∂_X μ(X)) ≠ 0，则EI近似为：
若存在至少一个输入点使 <math>\det(\partial_X \mu(X)) \neq 0</math>，则EI近似为：
EI ≈ n ln(2L) - (m / 2) * (1 + ln(2π)) - (1 / 2) * Σ_{i=1}^m ln(σ_i^2) + E_{X ~ U} [ln |det(∂_X μ(X))|].
<math> EI \approx n \ln(2L) - \frac{m}{2} \left(1 + \ln(2\pi)\right) - \frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2) + \mathbb{E}_{X \sim U} \left[ \ln |\det(\partial_X \mu(X))| \right]. </math>
其中：
<math>n \ln(2L)</math> 为输入熵。表示输入空间的多样性，取值范围越大（<math>L</math> 越大），EI越高。
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高，信息分散到更多维度，EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大，输出不确定性越高，EI降低。
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math> 为敏感度增益。雅可比行列式对数的期望值，衡量网络对输入变化的全局敏感性。行列式绝对值越大，EI越高。
==== 蒙特卡洛采样实现期望计算====
数学期望 <math>\mathbb{E}_{X \sim U}[\cdot]</math> 通过以下步骤近似：
1. 均匀采样：从输入空间 <math>[-L, L]^n</math> 随机采样 <math>N</math> 个点（如 <math>N=1000</math>）。
2. 计算行列式：对每个采样点 <math>X_k</math>，计算雅可比矩阵 <math>\partial_X \mu(X_k)</math> 及其行列式。
==== 蒙特卡洛采样实现期望计算 ====
数学期望 E_{X ~ U}[·] 通过以下步骤近似：
1. 均匀采样：从输入空间 [-L, L]^n 随机采样 N 个点（如 N=1000）。
2. 计算行列式：对每个采样点 X_k，计算雅可比矩阵 ∂_X μ(X_k) 及其行列式。
3. 对数平均：计算所有行列式对数的平均值：
3. 对数平均：计算所有行列式对数的平均值：
E[ln |det(∂_X μ)|] ≈ (1 / N) * Σ_{k=1}^N ln |det(∂_X μ(X_k))|.
<math> \mathbb{E}[\ln |\det(\partial_X \mu)|] \approx \frac{1}{N} \sum_{k=1}^N \ln |\det(\partial_X \mu(X_k))|. </math>
最终输出
最终输出