5,443
个编辑
更改
跳到导航
跳到搜索
第11行：
第11行： − 为了测量DNN前馈层之间的EI，我们将节点的激活水平分类，将独立和同时的白噪声（最大熵）注入一层，然后计算传输到下游目标的互信息。这捕获了该层到层连接的因果结构中的信息总量。纵观网络架构、任务和激活函数，我们观察到损耗曲线的急剧变化反映在EI的急剧变化上。+ − 此外，EI可用于跟踪DNN中各层的因果结构在训练过程中如何以特征方式变化。具体来说，我们展示了如何在训练过程中在可能的因果结构空间（“因果平面”）中跟踪DNN，例如连接是否变得更加信息退化或更加敏感。这使我们能够展示DNN在训练过程中是如何发展特定的逐层因果结构的。我们假设，逐层因果结构的分化可能有助于普遍性，因为在更简单的任务上训练的网络比在复杂的任务上培训的网络分化程度低，分化在网络适应其任务后停止或减慢，冗余层通常无法在因果平面上分化。此外，我们展示了如何使用EI来计算一层中节点的总联合效应和总个体效应之间的差异，从而可以测量深度神经网络中的前馈集成信息<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。+ − 这里提出的帮助使用信息论分析DNN因果结构的工具应该有助于解决该领域的另一个核心问题，即大型参数化通常会使DNN成为具有数百万微调权重的“黑匣子”，这些权重可以实现成功的性能，但在其操作和功能中是无法穿透的<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用DNN做出生死决定的人来说是一个严重的问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。使用这套技术，研究人员将能够在训练过程中直接观察DNN的整体因果结构发生变化的过程，这是打开“黑匣子”和了解DNN中的作用的关键一步。+
→简介
为更深入理解DNN的泛化能力，我们需要关注网络中独立于数据分布的因果结构。因果结构描述了网络中节点间的依赖关系，反映了节点之间的连接机制和作用方式。这里我们介绍一种微扰方法，该方法使用信息理论以逐层的方式跟踪DNN内的因果影响。具体来说，我们引入了有效信息（EI），它可以捕获因果关系的信息量和强度。EI最初是作为复杂系统两个子集之间因果关系的信息论度量而引入的<ref name=":3">Giulio Tononi and Olaf Sporns. Measuring information integration. BMC neuroscience, 4(1):31, 2003.</ref>。已经有学者证明，EI可以量化布尔网络的因果结构<ref name=":0">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>，也可以量化图形<ref name=":1">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>。值得注意的是，EI与信息瓶颈方法在数学上有相似之处，但EI侧重于因果关系。
为更深入理解DNN的泛化能力，我们需要关注网络中独立于数据分布的因果结构。因果结构描述了网络中节点间的依赖关系，反映了节点之间的连接机制和作用方式。这里我们介绍一种微扰方法，该方法使用信息理论以逐层的方式跟踪DNN内的因果影响。具体来说，我们引入了有效信息（EI），它可以捕获因果关系的信息量和强度。EI最初是作为复杂系统两个子集之间因果关系的信息论度量而引入的<ref name=":3">Giulio Tononi and Olaf Sporns. Measuring information integration. BMC neuroscience, 4(1):31, 2003.</ref>。已经有学者证明，EI可以量化布尔网络的因果结构<ref name=":0">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>，也可以量化图形<ref name=":1">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>。值得注意的是，EI与信息瓶颈方法在数学上有相似之处，但EI侧重于因果关系。
在DNN中，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的互信息，捕捉层间因果结构的信息总量。研究发现，网络训练过程中损失函数的快速下降往往伴随着EI的剧烈变化，揭示了网络因果结构的动态演化。
更重要的是，EI可以帮助我们追踪网络训练过程中各层因果结构的变化路径，称之为因果平面(causal plane)。通过观察网络连接的“敏感度”（扰动的传递效果）和“退化度”（连接重叠导致的信息丢失），我们可以看到不同任务如何塑造DNN的因果结构。复杂任务往往导致网络因果结构分化更明显，而简单任务中这种分化较弱。此外，冗余层通常无法在因果平面中显著变化，显示其对网络功能贡献较小。此外，我们展示了如何使用EI来计算一层中节点的总联合效应和总个体效应之间的差异，从而可以测量深度神经网络中的前馈集成信息<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。
这种分析工具为解决DNN的可解释性问题提供了新的思路。由于DNN拥有大量参数，常被视为“黑箱”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用DNN做出生死决定的人来说是一个严重的问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。使用这套技术，研究人员将能够在训练过程中直接观察DNN的整体因果结构发生变化的过程，这是打开“黑匣子”和了解DNN中的作用的关键一步。
=量化DNN的因果结构=
=量化DNN的因果结构=