5,443
个编辑
更改
跳到导航
跳到搜索
第15行：
第15行： − + − === 干预揭示因果关系 ===+ 第25行：
第25行： − === 测量层与层之间的有效信息 ===+ 第36行：
第36行： − + − 互信息 <math>I(L_1, L_2)</math> 的计算基于输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合分布。具体步骤如下：+ − 1.离散化+ − 将输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的激活值离散化为若干个区间（bins）。 − 假设每个节点的激活值被划分为 <math>B</math> 个区间，则输入层 <math>L_1</math> 的离散化状态空间大小为 <math>B^n</math>，输出层 <math>L_2</math> 的离散化状态空间大小为 <math>B^m</math>，其中 <math>n</math> 和 <math>m</math> 分别是输入层和输出层的节点数。 − 2.构建联合分布+ − 通过多次最大熵扰动，记录输入层和输出层的离散化状态，构建输入-输出的联合分布 <math>P(L_1, L_2)</math>。 − 具体来说，对于每次扰动，输入层 <math>L_1</math> 的激活值被随机化，输出层 <math>L_2</math> 的激活值通过网络计算得到。然后将这些值离散化并记录到联合分布中。 − 3.计算互信息+ − 根据联合分布 <math>P(L_1, L_2)</math>，计算互信息 <math>I(L_1, L_2)</math>：+ − <math>+ − I(L_1, L_2) = \sum_{x \in L_1} \sum_{y \in L_2} P(x, y) \log \frac{P(x, y)}{P(x) P(y)} − </math> − 其中：+ − <math>P(x, y)</math> 是输入层 <math>L_1</math> 和输出层 <math>L_2</math> 的联合概率分布。 − <math>P(x)</math> 和 <math>P(y)</math> 分别是输入层和输出层的边缘概率分布。 + − ===有效信息的分解===+ − EI 可以进一步分解为两个部分：敏感性（Sensitivity）和简并性（Degeneracy）。 − 1.敏感性（Sensitivity）+ − 敏感性衡量的是网络中每个边对输出的独立贡献。具体来说，敏感性是每个输入节点 <math>i \in L_1</math> 和输出节点 <math>j \in L_2</math> 之间的互信息之和：+ − <math>+ − \text{Sensitivity} = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j) \mid do(i = H^{\text{max}}) − </math> − 其中：+ − <math>t_i</math> 和 <math>t_j</math> 分别是输入节点 <math>i</math> 和输出节点 <math>j</math> 的激活值。 − <math>do(i = H^{\text{max}})</math> 表示仅对节点 <math>i</math> 进行最大熵扰动，其他节点的激活值设为 0。 − 2.简并性（Degeneracy）+ − 简并性衡量的是由于输入节点之间的重叠（即多个输入节点连接到同一个输出节点）导致的信息损失。简并性通过以下公式计算： − <math>+ − \text{Degeneracy} = \text{Sensitivity} - EI − </math> − 简并性反映了网络中因果关系的冗余程度。+ − ===外推法估计有效信息===+ − 使用推法来估计EI。具体公式为：+ − EI_{\text{parts}}(s) = \frac{A}{s^\alpha} + C+ − 其中：+ − − − 通过拟合少量样本的 EI 值，可以外推出大样本下的 EI 值。+ − 通过以上这些步骤，EI 能够量化神经网络中层与层之间的因果关系，并揭示网络在训练过程中因果结构的变化。+ − + − =有效信息在节点之间的表现=+ − === 在不同激活函数中的表现 ===+ − EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数（sigmoid、tanh、ReLU）。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量（8、16、32和64）无关。 − 在低权重时，EI表明B对A的扰动不敏感，尽管这种敏感性在所有三个激活函数中都会上升到一个峰值。随着权重的增加，激活函数趋于饱和，B对A的扰动变得不敏感，EI曲线随之下降。+ − 值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。+ − + − 在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI (A, B→C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或退化性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。 − + − + + − 为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。 + − − 从定性上讲，我们观察到，EI的最大变化与训练过程中损失曲线的最陡部分显著匹配，并且在最大学习期间，EI通常是动态的（如下图所示）。在训练性能与测试性能分离的过拟合期间，EI在所有层上通常都是平坦的，这表明在网络适当拟合后，因果结构中的信息在此期间没有变化。 − − [[文件:图 2.png|替代=|无框|500x500像素]] 第139行：
第117行： − 第145行：
第122行： − EI取决于网络的灵敏度和简并性。两个节点之间的灵敏度反映了孤立因果关系的强度，并在不同激活函数的特定特征权重处达到峰值（例如，在sigmoid激活函数中，它达到峰值）。层的退化反映了由于边缘权重的重叠，上游扰动的下游重建的困难。我们的结果表明，DNN的因果结构反映了它所训练的任务。例如，在MNIST任务中，DNN因果结构中的不同层有一个明确的任务，这反映在每一层在因果平面上的不同轨迹上，添加新的冗余层不会对EI产生影响，因此不会向因果结构添加新的信息。+ + + − 这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。+ +
无编辑摘要
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
=有效信息的计算=
=有效信息量化神经网络因果结构=
== 干预揭示因果关系 ==
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（详见 https://github.com/ei-research-group/deep-ei ）。
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（详见 https://github.com/ei-research-group/deep-ei ）。
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
此外，EI还可以被理解为衡量函数映射的“图像”如何帮助恢复“原像”，并且与Kolmogorov复杂度和VC熵有重要关系<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>。最重要的是，先前的研究表明，EI能够反映因果关系的重要特性，例如其确定性（缺乏噪声）或退化性（缺乏唯一性）<ref name=":0" />，而这些特性是标准互信息无法捕捉的。
== 测量层与层之间的有效信息 ==
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。
===互信息的计算===
== 有效信息在不同激活函数中的表现 ==
EI在不同的常用激活函数中具有一致的特性。下图a-c展示了两个节点A和B之间单个连接的EI，其中A→B的权重逐渐增加，每个面板展示了不同的激活函数(sigmoid、tanh、ReLU)。我们可以看到，对于每个具有特定激活函数的孤立连接，存在一个依赖于A到B连接权重的特征EI曲线，并且该曲线的形状与选择的bins数量(8、16、32和64)无关。
在低权重时，EI表明B对A的扰动不敏感，尽管这种敏感性在所有三个激活函数中都会上升到一个峰值。随着权重的增加，激活函数趋于饱和，B对A的扰动变得不敏感，EI曲线随之下降。
值得注意的是，这些特征峰值揭示了哪些权重代表了强因果关系（在孤立连接的情况下）。例如，sigmoid激活函数在权重等于欧拉数e时具有最具信息量的因果关系，tanh激活函数在权重为coth(1)时达到峰值，而ReLU激活函数在权重为1时达到峰值。这表明，DNN中最重要的权重可能是最具因果效力的，而不是绝对值最高的权重。例如，在使用sigmoid激活函数时，如果A→B的连接权重非常高，A的激活对扰动的信息量会变得很小，因为大多数扰动都会导致B的输出饱和到1。
== 多连接情况下的EI曲线 ==
在存在多个连接的情况下，EI曲线会变成一个更高维的EI流形。下图d-f展示了由两个节点A和B组成的层，每个节点都有一个连接到C的单个连接的EI (A, B→C)。由于扰动之间可能相互干扰，EI不仅取决于节点之间关系的敏感性，还取决于网络连接的重叠或简并性，从而形成一个流形。例如，在sigmoid激活函数中，EI流形大致是2倍对称的，这是由于sigmoid函数在正负权重周围的对称性，以及网络本身的对称性（因为神经元A和B都只连接到C）。
[[文件:图 1.png|替代=|无框|500x500像素]]
==复杂度对因果结构的影响==
为了研究深度神经网络（DNN）在学习过程中因果结构的变化，我们使用了两个经典的分类任务来训练网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。通过跟踪[[有效信息]]变化，我们能够揭示网络内部因果结构的演化，并进一步说明复杂度对因果结构的影响。
训练过程我们使用以下架构。(1)Iris任务：我们使用了一个四层神经网络，结构为4→5→5→3。输入层有4个神经元，对应Iris数据集的4个特征（如花萼长度、花萼宽度等）；两个隐藏层各有5个神经元；输出层有3个神经元，对应3种鸢尾花的分类。(2)MNIST任务：我们使用了一个五层神经网络，结构为25→6→6→6→5。输入层有25个神经元，对应5x5的输入图像（原始MNIST图像为28x28，我们进行了降维处理）；三个隐藏层各有6个神经元；输出层有5个神经元，对应数字0到4的分类（我们删除了数字5到9以简化任务）。
在训练参数上的选取上如下。我们使用均方误差（MSE）作为损失函数，梯度下降作为优化算法，学习率为0.01。Iris网络训练了4000个epoch，批量大小为10；MNIST网络训练了500个epoch，批量大小为50。权重初始化采用均匀分布，确保初始权重在合理范围内。权重从以下分布中采样：
<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>。为了计算EI，我们使用了固定长度的噪声注入（10^7个样本），以确保结果的收敛性。
训练结果如下图所示。(a)和(c)分别展示了在Iris和MNIST任务中，均方误差损失(MSE Loss)随训练epoch的变化情况。在训练初期，两个任务的训练损失和测试损失都迅速下降，表明模型正在快速学习任务；随着epoch的增加，损失逐渐趋于平稳，表明模型的学习速度减慢。在后期，训练损失继续下降，但测试损失趋于稳定甚至略有上升，表明模型可能开始过拟合。Iris 任务由于相对简单，损失下降较快且过拟合现象不明显；而MNIST任务更复杂，损失下降较慢且过拟合现象更为明显。下图(b)和(d)展示了Iris和MNIST任务中EI随训练epoch的变化情况。Iris任务：图中显示了输入层到第一个隐藏层（X→T1）、第一个隐藏层到第二个隐藏层（T1→T2）、以及第二个隐藏层到输出层（T2→Y）的EI变化。可以看到，EI在训练初期变化显著，随着网络逐渐拟合任务，EI趋于稳定。MNIST任务：图中显示了第一个隐藏层到第二个隐藏层（T1→T2）、第二个隐藏层到第三个隐藏层（T2→T3）、以及第三个隐藏层到输出层（T3→Y）的EI变化。与Iris任务相比，MNIST任务的EI变化更加显著，表明复杂任务导致网络层的因果结构分化更大。以上结果说明任务复杂度对因果结构的影响：对于更复杂的任务（如MNIST），网络层的因果结构在训练过程中表现出更大的分化，不同层的EI变化更加显著。而对于较简单的任务（如Iris），因果结构的分化较少，EI的变化也相对较小。
[[文件:图 2.png|替代=|无框|500x500像素]]
=神经网络中的因果平面=
==有效信息分解==
如上文所述，[[有效信息]]取决于网络中连接的权重以及这些权重之间的重叠程度。这两者共同构成了EI流形。这意味着EI可以分解为两个关键属性：敏感度(Sensitivity)和简并度(Degeneracy)。敏感度衡量网络中每条边独立传输信息的能力，而简并度衡量由于边权重重叠导致的信息损失。这种分解方式类似于之前在布尔网络或马尔可夫链中将EI分解为确定性和简并度的做法<ref name=":0" /><ref name=":1" />。不过，在神经网络中，由于网络是确定性的，我们用敏感度代替了确定性。
在深度神经网络（DNN）中，敏感度衡量输入层的扰动能够多大程度地传递到输出层。如果敏感度高，说明网络对输入的变化非常敏感。而简并度衡量通过输出层的激活值能否重建输入层的扰动源。如果简并度高，说明网络中的信息重叠较多，导致扰动源难以被准确重建。这两个属性共同构成了一个称为[[因果平面]]的二维空间，所有神经网络层都可以在这个平面中找到自己的位置。随着网络的学习，不同层的因果结构会逐渐分化，反映出它们对网络功能的贡献。
为了量化这些属性，敏感度是通过计算网络中每条边的独立贡献来衡量的。具体公式为：
<math>
<math>
\text{Sensitivity} = \sum_{\substack{i \in L_1 \\ j \in L_2}} I(t_i, t_j) \mid \operatorname{do}(i = H^{\text{max}})
</math>
</math>
其中，<math>L_1</math> 和 <math>L_2</math> 分别是输入层和输出层，<math>I(t_i, t_j)</math> 是输入节点 <math>i</math> 和输出节点 <math>j</math> 之间的互信息，<math>\operatorname{do}(i = H^{\text{max}})</math> 表示对输入节点 <math>i</math> 进行最大熵扰动。如果网络中的每个节点只接收一个唯一的输入（即没有重叠），那么敏感度就等于EI。
<math>s</math> 是样本数量。
<math>A</math>、<math>\alpha</math> 和 <math>C</math> 是通过拟合实验数据得到的参数。
简并度衡量的是由于边权重重叠导致的信息损失，计算公式为：
<math>
\text{Degeneracy} = \text{Sensitivity} - EI
</math>
简并度越高，说明网络中的信息重叠越多，导致信息传递的效率降低。
下图展示了有效信息(EI)如何由敏感度(Sensitivity)和简并度(Degeneracy)组成。图中显示了具有两个输入节点和一个输出节点的网络层（使用S形激活函数）的敏感度和简并度曲面。(a)展示了敏感度的曲面，表示网络中每条边独立传输信息的能力。(b)展示了简并度的曲面，表示由于边权重重叠导致的信息损失。(c)展示了EI 流形，它是通过将图(b)的简并度曲面从图(a)的敏感度曲面中减去得到的。因此我们可以直观地看到敏感度和简并度如何共同决定了有效信息的分布。
[[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]]
=== 多节点连接情况下的表现 ===
==因果平面==
[[文件:图 1.png|替代=|无框|500x500像素]]
为了可视化网络层在训练过程中的变化，我们引入了[[因果平面]]。因果平面的两个维度分别是敏感度和简并度。由于 <math>EI = \text{Sensitivity} - \text{Degeneracy}</math>，如果敏感度和简并度同时增加，EI将保持不变。在因果平面中，<math>y = x</math> 的直线称为EI的零线，表示 <math>EI = 0</math>。向敏感度方向移动表示网络对扰动的敏感性增加，EI增加；向简并度方向移动表示网络的简并度增加，EI减少；沿零线移动表示EI保持不变，网络层的因果结构没有显著变化。
=有效信息揭示神经网络中因果结构的变化=
==网络层因果结构分化==
下图展示了我们在实验中观察到的现象。MNIST由于任务更复杂，网络层的因果结构在因果平面中表现出更大的分化(图b-d)。而Iris由于任务较简单，网络层的因果结构分化较少，且更倾向于沿EI零线移动(图a)。此外，我们还发现，冗余层在因果平面中移动较少，表明它们对网络因果结构的贡献有限，而动态层在因果平面中表现出更大的移动，反映出它们对网络功能的重要贡献(图d)。
[[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]]
=有效信息量化联合效应与独立效应=
=有效信息量化联合效应与独立效应=
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
=总结=
=总结=
在这里，我们引入了信息论技术，根据扰动后的信息流对DNN的因果结构进行分类和量化。这些技术是围绕有效信息（EI）构建的，我们将其应用于DNN。它被定义为在一组最大熵扰动之后的互信息，它揭示了层因果结构中包含的信息。对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。
在这里，我们引入了信息论技术，根据扰动后的信息流对DNN的因果结构进行分类和量化。这些技术是围绕有效信息（EI）构建的，我们将其应用于DNN。它被定义为在一组最大熵扰动之后的互信息，它揭示了层因果结构中包含的信息。对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。
EI取决于网络的灵敏度和简并性。两个节点之间的灵敏度反映了孤立因果关系的强度，并在不同激活函数的特定特征权重处达到峰值（例如，在sigmoid激活函数中，它达到峰值）。层的退化反映了由于边缘权重的重叠，上游扰动的下游重建的困难。分析EI揭示了网络在灵敏度/简并空间上的位置，我们称之为“因果平面”。将网络架构放置在这个平面上的能力意味着我们可以跟踪任何给定的DNN的因果结构在训练过程中如何在空间中演变。我们的结果表明，DNN的因果结构反映了它所训练的任务。例如，在MNIST任务中，DNN因果结构中的不同层有一个明确的任务，这反映在每一层在因果平面上的不同轨迹上，添加新的冗余层不会对EI产生影响，因此不会向因果结构添加新的信息。
这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。
这些技术开辟了评估EI分解和扩展的可能性，例如DNN的集成信息（因为集成信息可以使用网络子集之间的最小EI来计算<ref name=":3" />，集成信息也可以分解为类似于灵敏度和简并性的属性<ref>Erik P Hoel, Larissa Albantakis, William Marshall, and Giulio Tononi. Can the macro beat the micro? Integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1), 2016.</ref>。这里，概述了一种综合信息的度量方法φf forward，用于度量前馈层连通性中的不可约联合效应。
所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
= 参考文献 =
= 参考文献 =
<references />
<references />