5,443
个编辑
更改
跳到导航
跳到搜索
第15行：
第15行： − + 第48行：
第48行： − + 第56行：
第56行： − =因果平面中的深度神经网络= − − 如上文所述，EI取决于连接的权重及其重叠程度，这两者共同构成了EI流形。这表明，EI可以分解为两个属性：由个体权重表示的因果关系的敏感性，以及由于输入权重重叠而导致的这些关系的通用性。这反映了之前将EIin布尔网络或马尔可夫链分解为确定性（这里用灵敏度代替，因为神经网络传统上是确定性的）和简并性<ref name=":0" /><ref name=":1" />。 − − 在DNN中，层的灵敏度衡量输入将扰动传输到输出节点的程度，而层的简并性衡量通过检查层输出可以重建输入扰动源的程度。如果扰动源不能很好地重建，则网络被称为扰动。这两个维度的因果关系共同构成了一个所有DNN层都占据的“因果平面”。随着层通过学习而不同，它们的因果结构应该在因果平面中占据独特的位置，反映出它们通过变得更敏感或更退化而对DNN功能的贡献。 − − 为了确定DNN层在因果平面中的位置或轨迹，根据EI的分量明确计算灵敏度和衰减。在参数之间没有相互作用的情况下，通过将每条边的总贡献单独相加来计算灵敏度。因此，层L1到下一层L2的总灵敏度为： − − <math> − \begin{equation} − \text{Sensitivity} = \sum_{\substack{i \in L_1 \\ j \in L_2}} I(t_i, t_j) \mid \operatorname{do}(i = H^{\text{max}}) − \end{equation} − </math> − − 这与计算每个（i，j）对的EI相同，但独立于网络的其他部分。请注意，在每个节点只接收一个唯一输入（即没有重叠）的层中，灵敏度等于EI。 − 层的简并性衡量因果关系中有多少信息因重叠连接而丢失，并通过代数方法计算其灵敏度-EI，因为灵敏度衡量网络中非重叠连接的信息贡献。下图显示了具有不同连接权重的两个输入节点和一个输出节点（具有S形激活）的层的本质性和简并流形。它们之间的差异形成了EI流形。 − 一层的简并性衡量因果关系中有多少信息因重叠连接而丢失，并通过代数方法计算其增敏性-EI，增敏性衡量网络中非重叠连接的信息贡献。下图显示了具有不同连接权重的两个输入节点和一个输出节点（具有S形激活）的层的增敏性和简并流形。它们之间的差异形成了EI歧管。 − − [[文件:截屏2024-12-14 21.48.56.png |替代=|无框|700x700像素]] − − 之前对图的EI（基于随机游走动力学）的研究已经找到了一种对不同规范网络进行分类的方法，如Erd̋os-Rényi随机图、无标度网络和轮辐模型，基于它们在随机游走的决定论和简并性方面的位置<ref name=":1" />。在DNN中，一个敏感术语取代了决定论。 − − 为了可视化灵敏度和简并性之间的层偏移，我们引入了DNN的“因果平面”，其中平面的二维表示两个相应的值。因果平面利用了这样一个事实，即由于EI=灵敏度−简并，如果两者都等量增加，EI本身就不会改变。当绘制简并性与灵敏度时，y=x线上的点表示零EI，我们将这条45◦的线称为EI的“零点斜率”。更倾向于敏感性的路径会增加EI，更倾向于简并的路径会降低EI，而沿着EI零点的路径不会改变EI。 − − 在这里，我们探讨了这样一个假设，即DNN的内部因果结构会发生变化，以匹配它所训练的任务，并且这会在整个训练过程的特定阶段发生。为了研究这一点，我们在训练过程中测量了Iris和MNIST数据集上通过因果平面的三次运行的路径（如图4a-b所示）。在这两项任务中，对MNIST数字进行分类更为退化和复杂，因为网络必须将高维空间中的流形转换为仅10个不同的输出类（或者更确切地说，对于我们简化的MNIST版本，是5个）。对鸢尾花进行分类的任务既不退化也不复杂，因为网络必须将4维空间转换为3个（大多）线性可分的类。如果一个网络通过将其内部因果结构与数据集进行匹配来学习，那么在MNIST上训练的网络将比在Iris上训练的更大程度上塑造自己。这正是我们在图4中观察到的，在MNIST-训练的网络中，因果平面内的差异和运动要大得多，而Iris训练的网络的因果结构中的差异较小，因为它遵循EI零点律。在许多情况下，特别是对于隐藏层和输出层，运行首先表现出灵敏度的增加（增加EI），然后表现出简并性的增加（降低EI）。 − − 为了检验层的因果结构在训练过程中必然会发生差异的假设，对具有sigmoid激活函数的MNIST训练网络进行了两种修改：一种情况下删除了隐藏层，另一种情况是添加了许多冗余的隐藏层（下图c-d）。网络的两个修改都与之前的网络一样准确。在因果平面上，添加的冗余层几乎没有变化，表明在训练过程中对EI的净贡献为零（有关视频，请参阅GitHub）。这显示了与更动态的层相比，对网络因果结构没有贡献的冗余层如何沿着EI零点聚集并且移动很少。 − − [[文件:截屏2024-12-14 21.49.16.png|替代=|无框|500x500像素]] − − =测量层间连通性的联合效应= − − 综合信息理论（IIT）已被用于评估系统中联合效应与独立效应所包含的总信息<ref>Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。它是因果分析的有用工具，分析网络因果结构中整合的信息量<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy in models of biological systems. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi. What caused what? a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。以前，综合信息被衡量为给定分区的EI损失<ref>David Balduzzi and Giulio Tononi. Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol, 4(6):e1000091, 2008.</ref>，使EI成为综合信息的上限。然而，目前还没有一种公认的通用综合信息衡量标准<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。相反，在不同的系统中提出了各种集成信息的措施<ref>Max Tegmark. Improved measures of integrated information. PLoS computational biology, 12(11):e1005123, 2016.</ref><ref>Pedro AM Mediano, Anil K Seth, and Adam B Barrett. Measuring integrated information: Comparison of candidate measures in theory and simulation. Entropy, 21(1):17, 2019.</ref>。传统上，前馈网络中的集成信息量为零，因为没有可重入连接，因为它基于在系统的所有可能子集中找到最小信息分区。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生不可约的联合效应，因此我们引入了一种度量，即前馈集成信息，应用于DNN。 − − 通常，计算集成信息需要检查所有可能分区的集合，这使得这种方法不适用于维数较小的系统。或者，为了评估单个边对EI的协同贡献，可能需要使用多变量信息理论，例如部分信息分解，当包含源时，它会按照Dedekind数的顺序增长<ref>Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.</ref> − − 为了避免这些问题，我们引入了一种基于每条边的贡献计算的度量方法<math>EI_{parts}</math>。也就是说，对于每个节点i∈L1，记录其在该扰动下的激活函数的时间序列估计，以及每个节点j∈L2的激活函数。为了计算EI部分，然后将每个节点的每个单独的时间序列离散为一些共享的选定bin大小，并计算和求和每个（i，j）对的MI：10）。 − − <math> − \begin{equation} − EI_{\text{parts}}(L_1 \rightarrow L_2) = \sum_{(i \in L_1, j \in L_2)} I(t_i, t_j) \mid \text{do}(L_1 = H^{\max}). − \end{equation} − </math> − − 请注意，对于具有单个节点的层，EI和EI部分是相同的。当网络的每个节点只接收单个边缘时，情况也是如此。然而，<math>EI_{parts}</math>措施必然会错过某些积极的联合效应。重要的是，EI和EIparts度量之间的差异可以捕捉到联合效应的量，从而捕捉到逐层以前馈方式整合的信息量。具体来说，我们将EI（综合信息的上限）与第3节中定义的<math>EI_{parts}</math>进行比较，即<math>\Phi_{feedforward} = EI - EI_{parts}</math>。应该指出的是，向前的φf虽然旨在捕捉一层到另一层的总联合效应，但不受零的限制，可以是负的。 − − 为了了解DNN训练过程中层间联合效应的变化，我们分析了Iris和MNIST数据集训练过程中<math>φ_f</math>的前向变化（有关我们测量<math>EI_{parts}</math>的方法的详细信息，请参阅SI第7.1节）。我们观察到，MNIST训练的网络比Iris训练的网络具有更高的φf前馈，这表明因果结构确实根据任务的复杂性而有所不同，需要更多的联合效应来学习（见下图）。 − − [[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
无编辑摘要
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于[[人工神经网络]]拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
=量化神经网络中的因果结构=
=有效信息的计算=
=== 干预揭示因果关系 ===
=== 干预揭示因果关系 ===
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（详见 https://github.com/ei-research-group/deep-ei ）。
干预（也称为“扰动”）是揭示因果关系的关键工具。前馈深度神经网络（DNN）的因果关系集合（也称为“因果结构”）由多个层、层之间的连接以及节点的激活函数组成。我们引入了一套工具，用于探索一个假设：DNN的泛化能力取决于其因果结构如何适应所训练的任务（详见 https://github.com/ei-research-group/deep-ei ）。
[[文件:图 1.png|替代=|无框|500x500像素]]
[[文件:图 1.png|替代=|无框|500x500像素]]
=训练过程中因果结构的变化=
=有效信息揭示神经网络中因果结构的变化=
为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。
为了了解DNN的因果结构在学习过程中是如何变化的，我们跟踪了用两个基准分类任务训练的EIin网络：Iris<ref>R. A. Fisher. The Design of Experiments. The American Mathematical Monthly, 43(3):180, 1936. ISSN 00029890. doi: 10.2307/2300364.</ref>和MNIST<ref>Yann LeCun, Corinna Cortes, and CJ Burges. Mnist handwritten digit database. ATT Labs [Online]. Available: <nowiki>http://yann.lecun.com/exdb/mnist</nowiki>, 2, 2010.</ref>。对于Iris，我们训练了具有三个密集连接层4→5→5→3的网络，对于MNIST，我们使用了具有四个紧密连接层25→6→6→5的网络，使用sigmoid激活函数，并且两个任务都没有偏差。对于MNIST，我们将输入从28x28整形为5x5，并从数据集中删除了数字5-9的示例，这样最后一层只有5个节点——这是为了降低准确计算EI的计算成本。这两个任务的网络都用MSE损失和香草梯度下降训练，学习率为0.01。我们训练了批量大小为10的Irisnetworks 4000个epoch和批量大小为50的MNIST网络500个epoch。我们通过从均匀分布<math>W_{ij} = \mathscr{U}\left([ -\frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}}, \frac{1}{\sqrt{\mathrm{fan}_{\mathrm{in}}}} ]\right)</math>中采样来初始化权重。对于每个任务和体系结构，我们执行三次具有不同初始化的运行。使用相同的网络架构，我们还训练了具有tanh和ReLU激活函数的网络——结果可以在SI第7.2节中找到。为了计算EI，我们使用107个样本的固定噪声注入长度。我们发现，在我们的网络中，注入这个长度就足以确保收敛（见SI第7.1节）。然而，请注意，更宽的网络层可能需要更多的样本。
[[文件:图 2.png|替代=|无框|500x500像素]]
[[文件:图 2.png|替代=|无框|500x500像素]]
=总结=
=总结=