更改

=引言=

=引言=

深度神经网络（DNN）在语音合成<ref>Zhizheng Wu, Oliver Watts, and Simon King.  Merlin:  An open source neural network speech synthesis system.  In SSW, pages 202–207, 2016.</ref>、图像识别<ref name=":2">Alex  Krizhevsky,  Ilya  Sutskever,  and  Geoffrey  E  Hinton.  Imagenet  classification  with  deep  convolutional  neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.</ref><ref>Edgar  Xi,  Selina  Bing,  and  Yang  Jin. Capsule  network  performance  on  complex  data. arXiv  preprint arXiv:1712.03480, 2017.</ref>和翻译<ref>I Sutskever, O Vinyals, and QV Le. Sequence to sequence learning with neural networks. Advances in NIPS, 2014.</ref>等各个领域都表现出了最先进的性能。这些巨大的进步是由于将深度学习技术<ref>Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436–444, 2015.</ref>引入人工神经网络，以及将GPU用于高速计算<ref>Rajat Raina, Anand Madhavan, and Andrew Y Ng. Large-scale deep unsupervised learning using graphics processors. In Proceedings of the 26th annual international conference on machine learning, pages 873–880. ACM, 2009.</ref>。然而，DNN的性能在多个方面仍然是神秘的。例如，基本的机器学习理论表明，具有足够参数来完全记忆大型图像数据集的模型应该大大过拟合训练数据，导致泛化能力差，特别是在未正则化的模型中<ref>Chiyuan  Zhang,  Samy  Bengio,  Moritz  Hardt,  Benjamin  Recht,  and  Oriol  Vinyals.  Understanding  deep  learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。然而，在实践中，即使没有显式正则化，深度神经网络也具有良好的泛化性能<ref>Behnam  Neyshabur,  Srinadh  Bhojanapalli,  David  McAllester,  and  Nati  Srebro.  Exploring  generalization  in  deep learning. In Advances in Neural Information Processing Systems, pages 5947–5956, 2017.</ref>。虽然众所周知，人工神经网络可以近似任何给定的函数<ref>Kurt Hornik, Maxwell Stinchcombe, and Halbert White.  Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.</ref>，但他们得出的函数是如何超越训练数据进行泛化的，这一点还不太清楚。

[[深度神经网络]]（DNN）在语音合成<ref>Zhizheng Wu, Oliver Watts, and Simon King.  Merlin:  An open source neural network speech synthesis system.  In SSW, pages 202–207, 2016.</ref>、图像识别<ref name=":2">Alex  Krizhevsky,  Ilya  Sutskever,  and  Geoffrey  E  Hinton.  Imagenet  classification  with  deep  convolutional  neural networks. In Advances in neural information processing systems, pages 1097–1105, 2012.</ref><ref>Edgar  Xi,  Selina  Bing,  and  Yang  Jin. Capsule  network  performance  on  complex  data. arXiv  preprint arXiv:1712.03480, 2017.</ref>和翻译<ref>I Sutskever, O Vinyals, and QV Le. Sequence to sequence learning with neural networks. Advances in NIPS, 2014.</ref>等各个领域都表现出了目前最先进的性能。这些巨大的进步是由于将深度学习技术<ref>Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521(7553):436–444, 2015.</ref>引入[[人工神经网络]]，以及将GPU用于高速计算<ref>Rajat Raina, Anand Madhavan, and Andrew Y Ng. Large-scale deep unsupervised learning using graphics processors. In Proceedings of the 26th annual international conference on machine learning, pages 873–880. ACM, 2009.</ref>。然而，DNN的性能在多个方面仍然是神秘的。例如，基本的[[机器学习]]理论表明，具有足够参数来完全记忆大型图像数据集的模型应该大过拟合训练数据，导致泛化能力差，特别是在未正则化的模型中<ref>Chiyuan  Zhang,  Samy  Bengio,  Moritz  Hardt,  Benjamin  Recht,  and  Oriol  Vinyals.  Understanding  deep  learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。然而，在实践中，即使没有显式正则化，深度神经网络也具有良好的泛化性能<ref>Behnam  Neyshabur,  Srinadh  Bhojanapalli,  David  McAllester,  and  Nati  Srebro.  Exploring  generalization  in  deep learning. In Advances in Neural Information Processing Systems, pages 5947–5956, 2017.</ref>。虽然众所周知，人工神经网络可以近似任何给定的函数<ref>Kurt Hornik, Maxwell Stinchcombe, and Halbert White.  Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.</ref>，但他们得出的函数是如何超越训练数据进行泛化的，这一点还不太清楚。

解释DNN泛化能力的一种有前景的方法是信息瓶颈方法<ref>Naftali  Tishby,  Fernando  C  Pereira,  and  William  Bialek.    The  information  bottleneck  method. arXiv  preprint physics/0004057, 2000.</ref>。信息瓶颈方法将DNN设想为优化将输入数据压缩到内部表示和使用该表示预测输出之间的权衡。这种方法的支持者通过DNN在“信息平面”中的行为来分析DNN，该平面由给定数据集作为输入的层到输入互信息分数组成<ref>Ravid Shwartz-Ziv and Naftali Tishby. Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810, 2017.</ref>。虽然寻找信息瓶颈一直是一个丰富的研究项目，但更大的网络仍然受到信息估计问题的困扰<ref>Kristoffer Wickstrøm, Sigurd Løkse, Michael Kampffmeyer, Shujian Yu, Jose Principe, and Robert Jenssen.  Information plane analysis of deep neural networks via matrix-based renyi’s entropy and tensor kernels.arXiv preprint arXiv:1909.11396, 2019.</ref>，并且某些网络拓扑和激活函数的预测或偏差存在错误<ref>Andrew M Saxe, Yamini Bansal, Joel Dapello, Madhu Advani, Artemy Kolchinsky, Brendan D Tracey, and David DCox. On the information bottleneck theory of deep learning. Journal of Statistical Mechanics: Theory and Experiment, 2019(12):124020, 2019.</ref>。更根本的是，信息瓶颈方法的数学公式是数据依赖的，也就是说，它的互信息得分随着输入分布的变化而变化。然而，从定义上讲，泛化能力是不同数据集（输入频率不同，甚至是未知且尚未定义的未来数据集）性能的函数。因此，为了理解泛化能力，有必要关注DNN在具有不同属性的不同数据集上的不变性<ref>Chiyuan  Zhang,  Samy  Bengio,  Moritz  Hardt,  Benjamin  Recht,  and  Oriol  Vinyals.  Understanding  deep  learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。

解释DNN泛化能力的一种有前景的方法是信息瓶颈方法<ref>Naftali  Tishby,  Fernando  C  Pereira,  and  William  Bialek.    The  information  bottleneck  method. arXiv  preprint physics/0004057, 2000.</ref>。信息瓶颈方法将DNN设想为优化将输入数据压缩到内部表示和使用该表示预测输出之间的权衡。这种方法的支持者通过DNN在“信息平面”中的行为来分析DNN，该平面由给定数据集作为输入的层到输入互信息分数组成<ref>Ravid Shwartz-Ziv and Naftali Tishby. Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810, 2017.</ref>。虽然寻找信息瓶颈一直是一个丰富的研究项目，但更大的网络仍然受到信息估计问题的困扰<ref>Kristoffer Wickstrøm, Sigurd Løkse, Michael Kampffmeyer, Shujian Yu, Jose Principe, and Robert Jenssen.  Information plane analysis of deep neural networks via matrix-based renyi’s entropy and tensor kernels.arXiv preprint arXiv:1909.11396, 2019.</ref>，并且某些网络拓扑和激活函数的预测或偏差存在错误<ref>Andrew M Saxe, Yamini Bansal, Joel Dapello, Madhu Advani, Artemy Kolchinsky, Brendan D Tracey, and David DCox. On the information bottleneck theory of deep learning. Journal of Statistical Mechanics: Theory and Experiment, 2019(12):124020, 2019.</ref>。更根本的是，信息瓶颈方法的数学公式是数据依赖的，也就是说，它的互信息得分随着输入分布的变化而变化。然而，从定义上讲，泛化能力是不同数据集（输入频率不同，甚至是未知且尚未定义的未来数据集）性能的函数。因此，为了理解泛化能力，有必要关注DNN在具有不同属性的不同数据集上的不变性<ref>Chiyuan  Zhang,  Samy  Bengio,  Moritz  Hardt,  Benjamin  Recht,  and  Oriol  Vinyals.  Understanding  deep  learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.</ref>。

这里提出的帮助使用信息论分析DNN因果结构的工具应该有助于解决该领域的另一个核心问题，即大型参数化通常会使DNN成为具有数百万微调权重的“黑匣子”，这些权重可以实现成功的性能，但在其操作和功能中是无法穿透的<ref>David Gunning.  Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi,  Andrew Zisserman,  and Christoffer Nellåker.  Turning a blind eye:  Explicit removal of biases and variation from deep neural network embeddings.  In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用DNN做出生死决定的人来说是一个严重的问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al.  End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood.  Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers.  Deep convolutional neural networks for computer-aided detection:  Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。使用这套技术，研究人员将能够在训练过程中直接观察DNN的整体因果结构发生变化的过程，这是打开“黑匣子”和了解DNN中的作用的关键一步。

这里提出的帮助使用信息论分析DNN因果结构的工具应该有助于解决该领域的另一个核心问题，即大型参数化通常会使DNN成为具有数百万微调权重的“黑匣子”，这些权重可以实现成功的性能，但在其操作和功能中是无法穿透的<ref>David Gunning.  Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2, 2017.</ref>。缺乏可解释性可能会掩盖其他问题，如数据集<ref>Mohsan Alvi,  Andrew Zisserman,  and Christoffer Nellåker.  Turning a blind eye:  Explicit removal of biases and variation from deep neural network embeddings.  In Proceedings of the European Conference on Computer Vision(ECCV) , pages 0–0, 2018.</ref>或模型选择<ref>Arnaud Mignan and Marco Broccardo. One neuron versus deep learning in aftershock prediction. Nature, 574(7776): E1–E3, 2019.</ref>中的偏见，对于那些想使用DNN做出生死决定的人来说是一个严重的问题，例如在自动驾驶汽车<ref>Mariusz Bojarski, Davide Del Testa, Daniel Dworakowski, Bernhard Firner, Beat Flepp, Prasoon Goyal, Lawrence D Jackel, Mathew Monfort, Urs Muller, Jiakai Zhang, et al.  End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316, 2016.</ref>、自动驾驶无人机<ref>Dario Floreano and Robert J Wood.  Science, technology and the future of small autonomous drones. Nature, 521(7553):460–466, 2015.</ref>或医疗诊断<ref>Hoo-Chang Shin, Holger R Roth, Mingchen Gao, Le Lu, Ziyue Xu, Isabella Nogues, Jianhua Yao, Daniel Mollura, and Ronald M Summers.  Deep convolutional neural networks for computer-aided detection:  Cnn architectures, dataset characteristics and transfer learning. IEEE transactions on medical imaging, 35(5):1285–1298, 2016.</ref>的情况下。使用这套技术，研究人员将能够在训练过程中直接观察DNN的整体因果结构发生变化的过程，这是打开“黑匣子”和了解DNN中的作用的关键一步。

=量化DNN的因果结构=

=量化DNN的因果结构=