5,443
个编辑
更改
跳到导航
跳到搜索
第287行：
第287行： − 通过引入信息论技术，我们对深度神经网络（DNN）的因果结构进行了分类和量化。这些技术主要围绕有效信息（Effective Information, EI）展开，EI被定义为在一组最大熵扰动之后的互信息，揭示了层因果结构中包含的信息。研究发现，对于在Iris和MNIST任务上训练的网络，EI在训练期间发生了变化，特别是在实际发生学习时（如损失函数中的阶跃变化所反映的）。EI的计算方法包括对网络的输入层施加最大熵扰动，计算输入层与输出层之间的互信息，从而定义EI为在最大熵扰动下，输入层与输出层之间的互信息。EI可以进一步分解为敏感性（Sensitivity）和简并性（Degeneracy），分别衡量网络中每个边对输出的独立贡献以及由于输入节点之间的重叠导致的信息损失。+ − − 此外，基于神经信息压缩机（Neural Information Squeezer, NIS）的有效信息计算方法可以识别系统从微观状态到宏观状态的因果涌现。NIS框架通过编码器、动态学习器和解码器三个关键组成部分实现，分别负责从微观状态映射到宏观状态、学习宏观动态以及将宏观状态重构为微观状态。NIS框架通过优化有效信息来寻找最优的粗粒化策略和宏观动态，实验表明，NIS能够在多个经典系统中自动发现有效的宏观状态和动力学，并在不同尺度下展现出显著的因果涌现效应。这些技术提供了一种与信息瓶颈研究不同的方法，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。虽然两者都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，但本文的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到不同激活函数、无监督任务、LSTM等循环神经网络和卷积神经网络。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性。 − − 这些技术提供了一种与信息瓶颈研究不同的方法<ref>Naftali Tishby and Noga Zaslavsky. Deep learning and the information bottleneck principle. In 2015 IEEE Information Theory Workshop (ITW) , pages 1–5. IEEE, 2015.</ref>，后者侧重于使用互信息来衡量输入和节点活动之间的相关性。这两种方法都有类似的目标来解释DNN的泛化性，并且都有形式上的相似之处，尽管这里的重点是逐层因果结构本身，而不是DNN的输入。未来，这项工作可以扩展到这里考虑的三种激活函数之外的不同激活函数<ref>Bekir Karlik and A Vehbi Olgac. Performance analysis of various activation functions in generalized mlp architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4):111–122, 2011.</ref><ref>Vinod Nair and Geoffrey E Hinton. Rectified linear units improve restricted boltzmann machines. In Proceedings of the 27th international conference on machine learning (ICML-10) , pages 807–814, 2010.</ref>、无监督任务<ref>Laurenz Wiskott and Terrence J Sejnowski. Slow feature analysis: Unsupervised learning of invariances. Neural computation, 14(4):715–770, 2002.</ref>、LSTM等循环神经网络<ref>Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735–1780, 1997.</ref>和卷积神经网络<ref name=":2" />。所有这些可能有助于理解为什么某些网络架构具有普遍性，为什么有些没有。未来，这些技术也为直接测量DNN中的个别因果关系提供了可能性<ref name=":4" />。
无编辑摘要
=总结=
=总结=
人工神经网络的有效信息计算是理解其内部机制和泛化能力的关键。通过引入基于信息论的工具——有效信息（Effective Information, EI），研究者能够量化神经网络中层与层之间的因果关系。在互信息方法中，EI通过最大熵扰动下的输入与输出之间的互信息，捕捉网络层间的因果作用强度，揭示网络在训练过程中因果结构的动态演化。具体而言，EI通过对网络层节点施加独立且随机的最大熵噪声，计算扰动后输出与输入之间的互信息，从而量化因果关系的强度。这种方法不仅能够反映网络因果结构的确定性（缺乏噪声）和简并性（缺乏唯一性），还能帮助研究者追踪网络训练过程中各层因果结构的变化路径。此外，神经信息压缩机（Neural Information Squeezer, NIS）框架通过可逆神经网络和投影操作，自动提取有效的粗粒化策略和宏观动力学，进一步识别系统从微观状态到宏观状态的因果涌现。NIS通过优化有效信息来寻找最优的粗粒化策略和宏观动力学，实验表明其能够在多个经典系统中自动发现有效的宏观状态和动力学，并在不同尺度下展现出显著的因果涌现效应。这些基于有效信息的计算方法为解决神经网络的可解释性问题提供了新思路，帮助研究者观察网络训练过程中因果结构的变化，推动对神经网络内部机制的理解。
= 参考文献 =
= 参考文献 =
<references />
<references />