人工神经网络上的有效信息计算 - 版本历史

2025年1月5日 (日) 06:46 相信未来

2025-01-05T06:46:01Z

相信未来：/* 有效信息的分解 */

2025-01-05T03:16:56Z

有效信息的分解

相信未来：/* 外推法估计有效信息 */

2025-01-05T03:16:23Z

外推法估计有效信息

相信未来：/* 有效信息的计算 */

2025-01-05T03:15:58Z

有效信息的计算

相信未来：/* 有效信息的计算 */

2025-01-05T03:06:49Z

有效信息的计算

相信未来：/* 总结 */

2025-01-05T03:04:31Z

总结

2025年1月5日 (日) 03:02 相信未来

2025-01-05T03:02:34Z

相信未来：/* 多连接情况下的EI曲线 */

2024-12-21T17:48:11Z

多连接情况下的EI曲线

相信未来：/* 有效信息在不同激活函数中的表现 */

2024-12-21T17:44:44Z

有效信息在不同激活函数中的表现

相信未来：/* 有效信息在不同激活函数中的表现 */

2024-12-21T17:43:48Z

有效信息在不同激活函数中的表现

←上一版本		2025年1月5日 (日) 06:46的版本
第119行：		第119行：

	[[文件:图 2.png\|替代=\|无框\|500x500像素]]		[[文件:图 2.png\|替代=\|无框\|500x500像素]]
		+
		+	=有效信息量化联合效应与独立效应=
		+
		+	综合信息理论（IIT）已被用于评估系统中联合效应与独立效应所包含的总信息<ref>Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。它是因果分析的有用工具，分析网络因果结构中整合的信息量<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy in models of biological systems. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi. What caused what? a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。以前，综合信息被衡量为给定分区的EI损失<ref>David Balduzzi and Giulio Tononi. Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol, 4(6):e1000091, 2008.</ref>，使EI成为综合信息的上限。然而，目前还没有一种公认的通用综合信息衡量标准<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。相反，在不同的系统中提出了各种集成信息的措施<ref>Max Tegmark. Improved measures of integrated information. PLoS computational biology, 12(11):e1005123, 2016.</ref><ref>Pedro AM Mediano, Anil K Seth, and Adam B Barrett. Measuring integrated information: Comparison of candidate measures in theory and simulation. Entropy, 21(1):17, 2019.</ref>。传统上，前馈网络中的集成信息量为零，因为没有可重入连接，因为它基于在系统的所有可能子集中找到最小信息分区。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生不可约的联合效应，因此我们引入了一种度量，即前馈集成信息，应用于DNN。
		+
		+	通常，计算集成信息需要检查所有可能分区的集合，这使得这种方法不适用于维数较小的系统。或者，为了评估单个边对EI的协同贡献，可能需要使用多变量信息理论，例如部分信息分解，当包含源时，它会按照Dedekind数的顺序增长<ref>Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.</ref>
		+
		+	为了避免这些问题，我们引入了一种基于每条边的贡献计算的度量方法<math>EI_{parts}</math>。也就是说，对于每个节点i∈L1，记录其在该扰动下的激活函数的时间序列估计，以及每个节点j∈L2的激活函数。为了计算EI部分，然后将每个节点的每个单独的时间序列离散为一些共享的选定bin大小，并计算和求和每个（i，j）对的MI：10）。
		+
		+	<math>
		+	\begin{equation}
		+	EI_{\text{parts}}(L_1 \rightarrow L_2) = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j) \mid \text{do}(L_1 = H^{\max}).
		+	\end{equation}
		+	</math>
		+
		+	请注意，对于具有单个节点的层，EI和EI部分是相同的。当网络的每个节点只接收单个边缘时，情况也是如此。然而，<math>EI_{parts}</math>措施必然会错过某些积极的联合效应。重要的是，EI和EIparts度量之间的差异可以捕捉到联合效应的量，从而捕捉到逐层以前馈方式整合的信息量。具体来说，我们将EI（综合信息的上限）与第3节中定义的<math>EI_{parts}</math>进行比较，即<math>\Phi_{feedforward} = EI - EI_{parts}</math>。应该指出的是，向前的φf虽然旨在捕捉一层到另一层的总联合效应，但不受零的限制，可以是负的。
		+
		+	为了了解DNN训练过程中层间联合效应的变化，我们分析了Iris和MNIST数据集训练过程中<math>φ_f</math>的前向变化（有关我们测量<math>EI_{parts}</math>的方法的详细信息，请参阅SI第7.1节）。我们观察到，MNIST训练的网络比Iris训练的网络具有更高的φf前馈，这表明因果结构确实根据任务的复杂性而有所不同，需要更多的联合效应来学习（见下图）。
		+
		+	[[文件:截屏2024-12-14 21.54.19.png\|替代=\|无框\|500x500像素]]

@@ 第70行： / 第70行： @@
 其中：
-- <math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。
+<math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。
-- <math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。
+<math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。
 .简并性（Degeneracy）

@@ 第91行： / 第91行： @@
 其中：
-- <math>s</math> 是样本数量。
+<math>s</math> 是样本数量。
-- <math>A</math>、<math>\alpha</math> 和 <math>C</math> 是通过拟合实验数据得到的参数。
+<math>A</math>、<math>\alpha</math> 和 <math>C</math> 是通过拟合实验数据得到的参数。
 通过拟合少量样本的 EI 值，可以外推出大样本下的 EI 值。

←上一版本		2025年1月5日 (日) 03:15的版本
第35行：		第35行：

	这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。		这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
		+
		+	===互信息的计算===
		+	互信息 <math>I(L_1, L_2)</math> 的计算基于输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合分布。具体步骤如下：
		+
		+	1.离散化
		+	将输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的激活值离散化为若干个区间（bins）。
		+	假设每个节点的激活值被划分为 <math>B</math> 个区间，则输入层 <math>L_1</math> 的离散化状态空间大小为 <math>B^n</math>，输出层 <math>L_2</math> 的离散化状态空间大小为 <math>B^m</math>，其中 <math>n</math> 和 <math>m</math> 分别是输入层和输出层的节点数。
		+
		+	2.构建联合分布
		+	通过多次最大熵扰动，记录输入层和输出层的离散化状态，构建输入-输出的联合分布 <math>P(L_1, L_2)</math>。
		+	具体来说，对于每次扰动，输入层 <math>L_1</math> 的激活值被随机化，输出层 <math>L_2</math> 的激活值通过网络计算得到。然后将这些值离散化并记录到联合分布中。
		+
		+	3.计算互信息
		+	根据联合分布 <math>P(L_1, L_2)</math>，计算互信息 <math>I(L_1, L_2)</math>：
		+
		+	<math>
		+	I(L_1, L_2) = \sum_{x \in L_1} \sum_{y \in L_2} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
		+	</math>
		+
		+	其中：
		+	<math>P(x, y)</math> 是输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合概率分布。
		+	<math>P(x)</math> 和 <math>P(y)</math> 分别是输入层和输出层的边缘概率分布。
		+
		+
		+	===有效信息的分解===
		+	EI 可以进一步分解为两个部分：敏感性（Sensitivity）和简并性（Degeneracy）。
		+
		+	1.敏感性（Sensitivity）
		+	敏感性衡量的是网络中每个边对输出的独立贡献。具体来说，敏感性是每个输入节点 <math>i \in L_1</math> 和输出节点 <math>j \in L_2</math> 之间的互信息之和：
		+
		+	<math>
		+	\text{Sensitivity} = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j) \mid do(i = H^{\text{max}})
		+	</math>
		+
		+	其中：
		+	- <math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。
		+	- <math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。
		+
		+	2.简并性（Degeneracy）
		+	简并性衡量的是由于输入节点之间的重叠（即多个输入节点连接到同一个输出节点）导致的信息损失。简并性通过以下公式计算：
		+
		+	<math>
		+	\text{Degeneracy} = \text{Sensitivity} - EI
		+	</math>
		+
		+	简并性反映了网络中因果关系的冗余程度。
		+
		+	===外推法估计有效信息===
		+
		+	使用推法来估计EI。具体公式为：
		+
		+	<math>
		+	EI_{\text{parts}}(s) = \frac{A}{s^\alpha} + C
		+	</math>
		+
		+	其中：
		+	- <math>s</math> 是样本数量。
		+	- <math>A</math>、<math>\alpha</math> 和 <math>C</math> 是通过拟合实验数据得到的参数。
		+
		+	通过拟合少量样本的 EI 值，可以外推出大样本下的 EI 值。
		+
		+	通过以上这些步骤，EI 能够量化神经网络中层与层之间的因果关系，并揭示网络在训练过程中因果结构的变化。

	=有效信息在节点之间的表现=		=有效信息在节点之间的表现=

@@ 第36行： / 第36行： @@
 这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
-=== 有效信息在不同激活函数中的表现 ===
+=有效信息在节点之间的表现=
 EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。
@@ 第43行： / 第45行： @@
 值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。
-=== 多连接情况下的EI曲线 ===
+=== 多节点连接情况下的表现 ===
 在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI (A, B→C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或退化性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。

@@ 第61行： / 第61行： @@
 在这里，我们引入了信息论技术，根据扰动后的信息流对DNN的因果结构进行分类和量化。这些技术是围绕有效信息（EI）构建的，我们将其应用于DNN。它被定义为在一组最大熵扰动之后的互信息，它揭示了层因果结构中包含的信息。对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。
-EI取决于网络的灵敏度和简并性。两个节点之间的灵敏度反映了孤立因果关系的强度，并在不同激活函数的特定特征权重处达到峰值（例如，在sigmoid激活函数中，它达到峰值）。层的退化反映了由于边缘权重的重叠，上游扰动的下游重建的困难。分析EI揭示了网络在灵敏度/简并空间上的位置，我们称之为“因果平面”。将网络架构放置在这个平面上的能力意味着我们可以跟踪任何给定的DNN的因果结构在训练过程中如何在空间中演变。我们的结果表明，DNN的因果结构反映了它所训练的任务。例如，在MNIST任务中，DNN因果结构中的不同层有一个明确的任务，这反映在每一层在因果平面上的不同轨迹上，添加新的冗余层不会对EI产生影响，因此不会向因果结构添加新的信息。
+EI取决于网络的灵敏度和简并性。两个节点之间的灵敏度反映了孤立因果关系的强度，并在不同激活函数的特定特征权重处达到峰值（例如，在sigmoid激活函数中，它达到峰值）。层的退化反映了由于边缘权重的重叠，上游扰动的下游重建的困难。我们的结果表明，DNN的因果结构反映了它所训练的任务。例如，在MNIST任务中，DNN因果结构中的不同层有一个明确的任务，这反映在每一层在因果平面上的不同轨迹上，添加新的冗余层不会对EI产生影响，因此不会向因果结构添加新的信息。
-这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton.  Rectified linear units improve restricted boltzmann machines.  In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski.   Slow feature analysis:  Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。
+这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton.  Rectified linear units improve restricted boltzmann machines.  In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski.   Slow feature analysis:  Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
 = 参考文献 =
 <references />

@@ 第15行： / 第15行： @@
 这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning.  Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi,  Andrew Zisserman,  and Christoffer Nellåker.   Turning a blind eye:  Explicit removal of biases and variation from deep neural network embeddings.  In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al.  End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood.  Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers.   Deep convolutional neural networks for computer-aided detection:  Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
-=量化神经网络中的因果结构=
+=有效信息的计算=
 === 干预揭示因果关系 ===
 干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（详见 https://github.com/ei-research-group/deep-ei ）。
@@ 第48行： / 第48行： @@
 [[文件:图 1.png|替代=|无框|500x500像素]]
-=训练过程中因果结构的变化=
+=有效信息揭示神经网络中因果结构的变化=
 为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher.  The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936.  ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann  LeCun,  Corinna  Cortes,  and  CJ  Burges.   Mnist  handwritten  digit  database. ATT  Labs  [Online].  Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。
@@ 第56行： / 第56行： @@
 [[文件:图 2.png|替代=|无框|500x500像素]]
 =总结=

@@ 第39行： / 第39行： @@
 EI可跨不同的常用激活函数进行扩展。图1a-c显示了两个节点a和B之间的单条边的EI，其中a→B的权重逐渐增加，每个面板显示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有给定激活函数的孤立边，都存在一条依赖于来自AtoB的连接权重的特征isticEIcurve，并且这条曲线的形状与所选的箱数（8、16、32和64）无关。在低权重下，EI表明B对a中的扰动不敏感，尽管这种敏感性在所有三个激活函数中都达到了峰值。然后，当权重饱和激活函数时，曲线会衰减，使B对A的扰动敏感。
 请注意，特征峰值揭示了哪些权重代表（孤立考虑的连接）的强因果关系。例如，一个sigmoid激活函数在等于欧拉数的aweight处具有最具信息量的因果关系，一个tanh激活函数在权重coth（1）处具有信息量，一个ReLU激活函数在重量1处具有信息力。这表明DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的。例如，对于sigmoid激活函数和连接A→B的极高权重，A的激活对扰动的信息量不大，因为大多数扰动都会导致B的输出在1处饱和。
 === 多连接情况下的EI曲线 ===