5,443
个编辑
更改
无编辑摘要
[[深度神经网络]] （DNN） 通常在其对输入的响应级别进行检查，例如分析节点和数据集之间的互信息。然而，DNN 也可以在因果关系层面上进行检查，探索网络本身层内的“什么做什么”。从历史上看，分析 DNN 的因果结构比了解它们对输入的反应受到的关注要少。然而，从定义上讲，泛化性必须是 DNN 因果结构的一个函数，因为它反映了 DNN 如何响应看不见甚至尚未定义的未来输入。
[[深度神经网络]]（DNN）主要通过分析节点与数据集间的[[互信息]]，来研究其对输入的响应。然而，DNN还可以在因果关系层面进行探讨，揭示网络内部各层间“谁影响谁”及其作用机制。[[有效信息]]（Effective Information, EI）作为一种基于信息论的工具，可以通过最大熵扰动下的输入与输出之间的互信息，量化网络层间的因果作用。通过引入EI方法，我们能够在“因果平面”(Causal Plane)中观察网络训练过程中各层因果结构的演化，从而揭示不同任务对网络结构的需求，提供提升DNN泛化能力和可解释性的新思路。