5,443
个编辑
更改
跳到导航
跳到搜索
第37行：
第37行： − + − + − − + − − + − + + − + + + 第88行：
第89行： − + −
无编辑摘要
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
===互信息的计算===
===有效信息的计算===
互信息 <math>I(L_1, L_2)</math> 的计算基于输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合分布。具体步骤如下：
互信息 <math>I(L_1, L_2)</math> 的计算基于输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合分布。具体步骤如下：
1.离散化
1.离散化: 将输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的激活值离散化为若干个区间（bins）。
将输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的激活值离散化为若干个区间（bins）。
假设每个节点的激活值被划分为 <math>B</math> 个区间，则输入层 <math>L_1</math> 的离散化状态空间大小为 <math>B^n</math>，输出层 <math>L_2</math> 的离散化状态空间大小为 <math>B^m</math>，其中 <math>n</math> 和 <math>m</math> 分别是输入层和输出层的节点数。
假设每个节点的激活值被划分为 <math>B</math> 个区间，则输入层 <math>L_1</math> 的离散化状态空间大小为 <math>B^n</math>，输出层 <math>L_2</math> 的离散化状态空间大小为 <math>B^m</math>，其中 <math>n</math> 和 <math>m</math> 分别是输入层和输出层的节点数。
2.构建联合分布
2.构建联合分布: 通过多次最大熵扰动，记录输入层和输出层的离散化状态，构建输入-输出的联合分布 <math>P(L_1, L_2)</math>。
通过多次最大熵扰动，记录输入层和输出层的离散化状态，构建输入-输出的联合分布 <math>P(L_1, L_2)</math>。
具体来说，对于每次扰动，输入层 <math>L_1</math> 的激活值被随机化，输出层 <math>L_2</math> 的激活值通过网络计算得到。然后将这些值离散化并记录到联合分布中。
具体来说，对于每次扰动，输入层 <math>L_1</math> 的激活值被随机化，输出层 <math>L_2</math> 的激活值通过网络计算得到。然后将这些值离散化并记录到联合分布中。
3.计算互信息
3.计算有效信息: 根据联合分布 <math>P(L_1, L_2)</math>，计算有效信息 <math>\begin{equation}
根据联合分布 <math>P(L_1, L_2)</math>，计算互信息 <math>I(L_1, L_2)</math>：
EI = I(L_1, L_2) \mid do(L_1 = H^{\text{max}})
\end{equation}</math>：
<math>
<math>
I(L_1, L_2) = \sum_{x \in L_1} \sum_{y \in L_2} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\begin{equation}
EI = I(L_1, L_2) \mid do(L_1 = H^{\text{max}})
\end{equation} = \sum_{x \in L_1} \sum_{y \in L_2} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
</math>
</math>
==== 定义输入输出空间与噪声模型 ====
==== 定义输入输出空间与噪声模型 ====
1. 输入空间：
1. 输入空间： 输入 <math>X</math> 为 <math>n</math> 维向量，取值范围为 <math>[-L, L]^n</math>（<math>L</math> 为大整数）。
输入 <math>X</math> 为 <math>n</math> 维向量，取值范围为 <math>[-L, L]^n</math>（<math>L</math> 为大整数）。
假设输入服从均匀分布：<math>X \sim U([-L, L]^n)</math>。
假设输入服从均匀分布：<math>X \sim U([-L, L]^n)</math>。