5,443
个编辑
更改
→总结
=总结=
=总结=
通过引入信息论技术，我们对深度神经网络（DNN）的因果结构进行了分类和量化。这些技术主要围绕有效信息（Effective Information, EI）展开，EI被定义为在一组最大熵扰动之后的互信息，揭示了层因果结构中包含的信息。研究发现，对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。EI的计算方法包括对网络的输入层施加最大熵扰动，计算输入层与输出层之间的互信息，从而定义EI为在最大熵扰动下，输入层与输出层之间的互信息。EI可以进一步分解为敏感性（Sensitivity）和简并性（Degeneracy），分别衡量网络中每个边对输出的独立贡献以及由于输入节点之间的重叠导致的信息损失。
此外，基于神经信息压缩机（Neural Information Squeezer, NIS）的有效信息计算方法可以识别系统从微观状态到宏观状态的因果涌现。NIS框架通过编码器、动态学习器和解码器三个关键组成部分实现，分别负责从微观状态映射到宏观状态、学习宏观动态以及将宏观状态重构为微观状态。NIS框架通过优化有效信息来寻找最优的粗粒化策略和宏观动态，实验表明，NIS能够在多个经典系统中自动发现有效的宏观状态和动力学，并在不同尺度下展现出显著的因果涌现效应。这些技术提供了一种与信息瓶颈研究不同的方法，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。虽然两者都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，但本文的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到不同激活函数、无监督任务、LSTM等循环神经网络和卷积神经网络。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性。
这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。