5,443
个编辑
更改
→互信息方法实验
该指标通过归一化，使得有效信息的比较不受输入维度大小的影响，更适合不同规模系统的对比分析。
该指标通过归一化，使得有效信息的比较不受输入维度大小的影响，更适合不同规模系统的对比分析。
==有效信息揭示神经网络中因果结构的变化==
=基于互信息方法量化联合效应=
[[综合信息理论]]（Integrated Information Theory, IIT） 是一种用来评估系统中联合效应和独立效应的工具<ref>Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。简单来说，联合效应指的是多个节点（或变量）共同作用产生的效果，而独立效应则是单个节点单独作用的效果。IIT帮助我们分析网络中这些效应是如何整合在一起的<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy in models of biological systems. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi. What caused what? a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。
[[综合信息理论]]（Integrated Information Theory, IIT） 是一种用来评估系统中联合效应和独立效应的工具<ref>Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。简单来说，联合效应指的是多个节点（或变量）共同作用产生的效果，而独立效应则是单个节点单独作用的效果。IIT帮助我们分析网络中这些效应是如何整合在一起的<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy in models of biological systems. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi. What caused what? a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。
在传统的[[前馈神经网络]]中，综合信息通常被认为是零，因为[[前馈神经网络]]没有反馈连接（即信息只能从输入层流向输出层）。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生联合效应，即多个节点共同作用的效果。为了衡量这种联合效应，我们引入了一种新的度量方法，称为前馈集成信息（Feedforward Integrated Information, <math>\Phi_{feedforward}</math>）。
在传统的[[前馈神经网络]]中，综合信息通常被认为是零，因为[[前馈神经网络]]没有反馈连接（即信息只能从输入层流向输出层）。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生联合效应，即多个节点共同作用的效果。为了衡量这种联合效应，我们引入了一种新的度量方法，称为前馈集成信息（Feedforward Integrated Information, <math>\Phi_{feedforward}</math>）。
==量化联合效应==
为了量化联合效应，我们首先需要计算每条边的独立贡献。我们引入了一个叫做<math>EI_{parts}</math>的度量方法。具体来说，对于每一层的每个节点，我们记录它在随机扰动下的激活值，然后计算这些激活值与下一层节点之间的互信息。最后，我们将所有这些互信息值相加，得到<math>EI_{parts}</math>：
为了量化联合效应，我们首先需要计算每条边的独立贡献。我们引入了一个叫做<math>EI_{parts}</math>的度量方法。具体来说，对于每一层的每个节点，我们记录它在随机扰动下的激活值，然后计算这些激活值与下一层节点之间的互信息。最后，我们将所有这些互信息值相加，得到<math>EI_{parts}</math>：
这里的<math>I(t_i, t_j)</math>表示节点<math>i</math>和节点<math>j</math>之间的互信息，<math>\text{do}(L_1 = H^{\max})</math>表示对输入层<math>L_1</math>进行最大熵扰动。
这里的<math>I(t_i, t_j)</math>表示节点<math>i</math>和节点<math>j</math>之间的互信息，<math>\text{do}(L_1 = H^{\max})</math>表示对输入层<math>L_1</math>进行最大熵扰动。
==联合效应与独立效应的差异==
<math>EI_{parts}</math>衡量的是网络中每条边的独立贡献，但它可能会忽略一些联合效应。为了捕捉这些联合效应，我们计算<math>EI</math>和<math>EI_{parts}</math>之间的差异，即：
<math>EI_{parts}</math>衡量的是网络中每条边的独立贡献，但它可能会忽略一些联合效应。为了捕捉这些联合效应，我们计算<math>EI</math>和<math>EI_{parts}</math>之间的差异，即：
这个差值<math>\Phi_{feedforward}</math>表示网络中联合效应的总量。如果<math>\Phi_{feedforward}</math>是正的，说明网络中的联合效应是有益的；如果是负的，说明这些联合效应可能是噪声。
这个差值<math>\Phi_{feedforward}</math>表示网络中联合效应的总量。如果<math>\Phi_{feedforward}</math>是正的，说明网络中的联合效应是有益的；如果是负的，说明这些联合效应可能是噪声。
==训练过程中联合效应的变化==
为了了解联合效应在训练过程中的变化，我们分析了两个经典的数据集：Iris和MNIST。我们发现，MNIST数据集上的网络比Iris数据集上的网络具有更高的<math>\Phi_{feedforward}</math>。这表明，MNIST任务更复杂，网络需要更多的联合效应来学习（见下图）。
为了了解联合效应在训练过程中的变化，我们分析了两个经典的数据集：Iris和MNIST。我们发现，MNIST数据集上的网络比Iris数据集上的网络具有更高的<math>\Phi_{feedforward}</math>。这表明，MNIST任务更复杂，网络需要更多的联合效应来学习（见下图）。