5,443
个编辑
更改
跳到导航
跳到搜索
第7行：
第7行： − + − 为更深入理解DNN的泛化能力，我们需要关注网络中独立于数据分布的因果结构。因果结构描述了网络中节点间的依赖关系，反映了节点之间的连接机制和作用方式。这里我们介绍一种微扰方法，该方法使用信息理论以逐层的方式跟踪DNN内的因果影响。具体来说，我们引入了[[有效信息]](Effective Information, EI)，它可以捕获因果关系的信息量和强度。EI最初是作为[[复杂系统]]两个子集之间因果关系的信息论度量而引入的<ref name=":3">Giulio Tononi and Olaf Sporns. Measuring information integration. BMC neuroscience, 4(1):31, 2003.</ref>。已经有学者证明，EI可以量化布尔网络的因果结构<ref name=":0">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>，也可以量化图形<ref name=":1">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>。值得注意的是，EI与信息瓶颈方法在数学上有相似之处，但EI侧重于因果关系。+ − 在DNN中，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的[[互信息]]，捕捉层间因果结构的信息总量。研究发现，网络训练过程中损失函数的快速下降往往伴随着EI的剧烈变化，揭示了网络因果结构的动态演化。+ − −
→简介
[[人工神经网络]]在语音合成<ref>Zhizheng Wu, Oliver Watts, and Simon King. Merlin: An open source neural network speech synthesis system. In SSW, pages 202–207, 2016.</ref>、图像识别<ref name=":2">Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.</ref><ref>Edgar Xi, Selina Bing, and Yang Jin. Capsule network performance on complex data. arXiv preprint arXiv:1712.03480, 2017.</ref>和翻译<ref>I Sutskever, O Vinyals, and QV Le. Sequence to sequence learning with neural networks. Advances in NIPS, 2014.</ref>等各个领域都表现出了先进的性能。然而，[[人工神经网络]]底层机制还存在很多未知。例如，基本的[[机器学习]]理论表明，拥有大量参数的模型往往容易记住数据集中的所有信息，导致泛化能力差，特别是在未正则化的模型中<ref>Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。[[深度学习网络]](DNN)的主要原理是将[[深度学习]]技术<ref>Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436–444, 2015.</ref>引入[[人工神经网络]]，以及将GPU用于高速计算<ref>Rajat Raina, Anand Madhavan, and Andrew Y Ng. Large-scale deep unsupervised learning using graphics processors. In Proceedings of the 26th annual international conference on machine learning, pages 873–880. ACM, 2009.</ref>。在实践中，研究者发现即使没有显式正则化的DNN也具有良好的泛化性能<ref>Behnam Neyshabur, Srinadh Bhojanapalli, David McAllester, and Nati Srebro. Exploring generalization in deep learning. In Advances in Neural Information Processing Systems, pages 5947–5956, 2017.</ref>。虽然众所周知，尽管[[人工神经网络]]可以逼近任何函数<ref>Kurt Hornik, Maxwell Stinchcombe, and Halbert White. Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.</ref>，但它们得出的函数是如何超越训练数据进行泛化的，仍缺乏清晰的理论解释。
[[人工神经网络]]在语音合成<ref>Zhizheng Wu, Oliver Watts, and Simon King. Merlin: An open source neural network speech synthesis system. In SSW, pages 202–207, 2016.</ref>、图像识别<ref name=":2">Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.</ref><ref>Edgar Xi, Selina Bing, and Yang Jin. Capsule network performance on complex data. arXiv preprint arXiv:1712.03480, 2017.</ref>和翻译<ref>I Sutskever, O Vinyals, and QV Le. Sequence to sequence learning with neural networks. Advances in NIPS, 2014.</ref>等各个领域都表现出了先进的性能。然而，[[人工神经网络]]底层机制还存在很多未知。例如，基本的[[机器学习]]理论表明，拥有大量参数的模型往往容易记住数据集中的所有信息，导致泛化能力差，特别是在未正则化的模型中<ref>Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。[[深度学习网络]](DNN)的主要原理是将[[深度学习]]技术<ref>Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436–444, 2015.</ref>引入[[人工神经网络]]，以及将GPU用于高速计算<ref>Rajat Raina, Anand Madhavan, and Andrew Y Ng. Large-scale deep unsupervised learning using graphics processors. In Proceedings of the 26th annual international conference on machine learning, pages 873–880. ACM, 2009.</ref>。在实践中，研究者发现即使没有显式正则化的DNN也具有良好的泛化性能<ref>Behnam Neyshabur, Srinadh Bhojanapalli, David McAllester, and Nati Srebro. Exploring generalization in deep learning. In Advances in Neural Information Processing Systems, pages 5947–5956, 2017.</ref>。虽然众所周知，尽管[[人工神经网络]]可以逼近任何函数<ref>Kurt Hornik, Maxwell Stinchcombe, and Halbert White. Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.</ref>，但它们得出的函数是如何超越训练数据进行泛化的，仍缺乏清晰的理论解释。
[[信息瓶颈]](information bottleneck)是一种被提出来解释DNN泛化能力的理论框架<ref>Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.</ref>。它认为DNN在压缩输入数据与预测输出之间寻找最佳平衡。通过分析网络在[[信息平面]](information plane)上的行为——即输入数据与每层网络之间的[[互信息]]，研究者尝试揭示网络的学习机制<ref>Ravid Shwartz-Ziv and Naftali Tishby. Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810, 2017.</ref>。虽然寻找[[信息瓶颈]]是一个可行的方法，但更大的网络仍然受到信息估计问题的困扰<ref>Kristoffer Wickstrøm, Sigurd Løkse, Michael Kampffmeyer, Shujian Yu, Jose Principe, and Robert Jenssen. Information plane analysis of deep neural networks via matrix-based renyi’s entropy and tensor kernels.arXiv preprint arXiv:1909.11396, 2019.</ref>，并且某些网络拓扑和激活函数的预测或偏差存在错误<ref>Andrew M Saxe, Yamini Bansal, Joel Dapello, Madhu Advani, Artemy Kolchinsky, Brendan D Tracey, and David DCox. On the information bottleneck theory of deep learning. Journal of Statistical Mechanics: Theory and Experiment, 2019(12):124020, 2019.</ref>。更根本的是，[[信息瓶颈]]方法的数学公式是数据依赖的，也就是说，它的互信息得分随着输入分布的变化而变化。然而，从定义上讲，泛化能力是不同数据集（输入频率不同，甚至是未知且尚未定义的未来数据集）性能的函数。因此，为了理解泛化能力，有必要关注DNN在具有不同属性的不同数据集上的不变性<ref>Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。
[[信息瓶颈]](information bottleneck)是一种被提出来解释[[人工神经网络]]泛化能力的理论框架<ref>Naftali Tishby, Fernando C Pereira, and William Bialek. The information bottleneck method. arXiv preprint physics/0004057, 2000.</ref>。它认为神经网络在压缩输入数据与预测输出之间寻找最佳平衡。通过分析网络在[[信息平面]](information plane)上的行为——即输入数据与每层网络之间的[[互信息]]，研究者尝试揭示网络的学习机制<ref>Ravid Shwartz-Ziv and Naftali Tishby. Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810, 2017.</ref>。虽然寻找[[信息瓶颈]]是一个可行的方法，但更大的网络仍然受到信息估计问题的困扰<ref>Kristoffer Wickstrøm, Sigurd Løkse, Michael Kampffmeyer, Shujian Yu, Jose Principe, and Robert Jenssen. Information plane analysis of deep neural networks via matrix-based renyi’s entropy and tensor kernels.arXiv preprint arXiv:1909.11396, 2019.</ref>，并且某些网络拓扑和激活函数的预测或偏差存在错误<ref>Andrew M Saxe, Yamini Bansal, Joel Dapello, Madhu Advani, Artemy Kolchinsky, Brendan D Tracey, and David DCox. On the information bottleneck theory of deep learning. Journal of Statistical Mechanics: Theory and Experiment, 2019(12):124020, 2019.</ref>。更根本的是，[[信息瓶颈]]方法的数学公式是数据依赖的，也就是说，它的互信息得分随着输入分布的变化而变化。然而，从定义上讲，泛化能力是不同数据集（输入频率不同，甚至是未知且尚未定义的未来数据集）性能的函数。因此，为了理解泛化能力，有必要关注神经网络在具有不同属性的不同数据集上的不变性<ref>Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, and Oriol Vinyals. Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。
为更深入理解神经网络的泛化能力，我们需要关注网络中独立于数据分布的因果结构。因果结构描述了网络中节点间的依赖关系，反映了节点之间的连接机制和作用方式。这里我们介绍一种微扰方法，该方法使用信息理论以逐层的方式跟踪DNN内的因果影响。具体来说，我们引入了[[有效信息]](Effective Information, EI)，它可以捕获因果关系的信息量和强度。EI最初是作为[[复杂系统]]两个子集之间因果关系的信息论度量而引入的<ref name=":3">Giulio Tononi and Olaf Sporns. Measuring information integration. BMC neuroscience, 4(1):31, 2003.</ref>。已经有学者证明，EI可以量化布尔网络的因果结构<ref name=":0">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>，也可以量化图形<ref name=":1">Erik P Hoel, Larissa Albantakis, and Giulio Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.</ref>。值得注意的是，EI与信息瓶颈方法在数学上有相似之处，但EI侧重于因果关系。在DNN中，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的[[互信息]]，捕捉层间因果结构的信息总量。研究发现，网络训练过程中损失函数的快速下降往往伴随着EI的剧烈变化，揭示了网络因果结构的动态演化。
更重要的是，EI可以帮助我们追踪网络训练过程中各层因果结构的变化路径，称之为[[因果平面]](causal plane)。通过观察网络连接的“敏感度”（Sensitivity，即扰动的传递效果，类似[[Erik Hoel]]的Determinism概念<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>）和“简并度”（Degeneracy，即连接重叠导致的信息丢失），我们可以看到不同任务如何塑造神经网络的因果结构。复杂任务往往导致网络因果结构分化更明显，而简单任务中这种分化较弱。此外，冗余层通常无法在因果平面中显著变化，显示其对网络功能贡献较小。此外，我们会展示如何使用EI来计算一层中节点的总联合效应和总个体效应之间的差异，从而可以测量深度神经网络中的前馈集成信息<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。
更重要的是，EI可以帮助我们追踪网络训练过程中各层因果结构的变化路径，称之为[[因果平面]](causal plane)。通过观察网络连接的“敏感度”（Sensitivity，即扰动的传递效果，类似[[Erik Hoel]]的Determinism概念<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>）和“简并度”（Degeneracy，即连接重叠导致的信息丢失），我们可以看到不同任务如何塑造DNN的因果结构。复杂任务往往导致网络因果结构分化更明显，而简单任务中这种分化较弱。此外，冗余层通常无法在因果平面中显著变化，显示其对网络功能贡献较小。此外，我们会展示如何使用EI来计算一层中节点的总联合效应和总个体效应之间的差异，从而可以测量深度神经网络中的前馈集成信息<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于DNN拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。
这种分析工具为解决[[人工神经网络]]的可解释性问题提供了新的思路。由于DNN拥有大量参数，常被视为“黑匣子”，其内部机制难以理解，影响了模型的透明度<ref>David Gunning. Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi, Andrew Zisserman, and Christoffer Nellåker. Turning a blind eye: Explicit removal of biases and variation from deep neural network embeddings. In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用[[人工神经网络]]做出关于人生命的事情来说是一个重大问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al. End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood. Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers. Deep convolutional neural networks for computer-aided detection: Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。因此使用这套技术，研究人员将能够在训练过程中直接观察神经网络的整体因果结构发生变化的过程，这是打开“黑匣子”和了解神经网络中的作用的关键一步。