集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

神经网络的有效信息计算 (查看源代码)

2025年1月5日 (日) 15:07的版本

删除11字节 、 2025年1月5日 (日) 15:07
→‎有效信息量化联合效应与独立效应
第122行： 第122行：  
=有效信息量化联合效应与独立效应=
 
=有效信息量化联合效应与独立效应=
   −
综合信息理论（IIT）已被用于评估系统中联合效应与独立效应所包含的总信息<ref>Giulio Tononi.  Consciousness as integrated information:  a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。它是因果分析的有用工具，分析网络因果结构中整合的信息量<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy  in  models  of  biological  systems. Philosophical  Transactions  of  the  Royal  Society  A:  Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi.  What caused what?  a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。以前，综合信息被衡量为给定分区的EI损失<ref>David Balduzzi and Giulio Tononi.  Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol, 4(6):e1000091, 2008.</ref>，使EI成为综合信息的上限。然而，目前还没有一种公认的通用综合信息衡量标准<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。相反，在不同的系统中提出了各种集成信息的措施<ref>Max Tegmark. Improved measures of integrated information. PLoS computational biology, 12(11):e1005123, 2016.</ref><ref>Pedro AM Mediano, Anil K Seth, and Adam B Barrett.  Measuring integrated information: Comparison of candidate measures in theory and simulation. Entropy, 21(1):17, 2019.</ref>。传统上，前馈网络中的集成信息量为零，因为没有可重入连接，因为它基于在系统的所有可能子集中找到最小信息分区。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生不可约的联合效应，因此我们引入了一种度量，即前馈集成信息，应用于DNN。     
+
==有效信息量化联合效应与独立效应==
   −
通常，计算集成信息需要检查所有可能分区的集合，这使得这种方法不适用于维数较小的系统。或者，为了评估单个边对EI的协同贡献，可能需要使用多变量信息理论，例如部分信息分解，当包含源时，它会按照Dedekind数的顺序增长<ref>Paul L Williams and Randall D Beer.   Nonnegative decomposition of  multivariate information. arXiv preprint arXiv:1004.2515, 2010.</ref>
+
综合信息理论（Integrated Information Theory, IIT） 是一种用来评估系统中联合效应和独立效应的工具<ref>Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin, 215(3): 216–242, 2008.</ref>。简单来说，联合效应指的是多个节点（或变量）共同作用产生的效果，而独立效应则是单个节点单独作用的效果。IIT帮助我们分析网络中这些效应是如何整合在一起的<ref>William Marshall, Hyunju Kim, Sara I Walker, Giulio Tononi, and Larissa Albantakis. How causal analysis can reveal autonomy in  models of biological systems. Philosophical Transactions of  the  Royal  Society  A: Mathematical, Physical and Engineering Sciences, 375(2109):20160358, 2017.</ref><ref name=":4">Larissa Albantakis, William Marshall, Erik Hoel, and Giulio Tononi.  What caused what?  a quantitative account of actual causation using dynamical causal networks. Entropy, , 21(5):459, 2019.</ref>。
   −
为了避免这些问题，我们引入了一种基于每条边的贡献计算的度量方法<math>EI_{parts}</math>。也就是说，对于每个节点i∈L1，记录其在该扰动下的激活函数的时间序列估计，以及每个节点j∈L2的激活函数。为了计算EI部分，然后将每个节点的每个单独的时间序列离散为一些共享的选定bin大小，并计算和求和每个（i，j）对的MI：10）。
+
以前，研究人员通过计算[[有效信息]]的损失来衡量综合信息<ref>David Balduzzi and Giulio Tononi.  Integrated information in discrete dynamical systems: motivation and theoretical framework. PLoS Comput Biol, 4(6):e1000091, 2008.</ref>。EI是一种衡量因果关系的工具，它通过向网络输入随机噪声（最大熵扰动），然后测量输入层和输出层之间的互信息来量化因果强度。然而，目前还没有一个通用的标准来衡量综合信息<ref>Masafumi Oizumi, Larissa Albantakis, and Giulio Tononi. From the phenomenology to the mechanisms of consciousness: integrated information theory 3.0. PLoS Comput Biol, 10(5):e1003588, 2014.</ref>。不同的系统可能需要不同的方法来衡量<ref>Max Tegmark. Improved measures of integrated information. PLoS computational biology, 12(11):e1005123, 2016.</ref><ref>Pedro AM Mediano, Anil K Seth, and Adam B Barrett.  Measuring integrated information: Comparison of candidate measures in theory and simulation. Entropy, 21(1):17, 2019.</ref>。
 +
 
 +
在传统的[[前馈神经网络]]中，综合信息通常被认为是零，因为网络没有反馈连接。然而，即使在前馈网络中，一层的节点仍然可能对另一层产生联合效应，即多个节点共同作用的效果。为了衡量这种联合效应，我们引入了一种新的度量方法，称为前馈集成信息（Feedforward Integrated Information, <math>\Phi_{feedforward}</math>）。
 +
 
 +
==量化联合效应==
 +
 
 +
为了量化联合效应，我们首先需要计算每条边的独立贡献。我们引入了一个叫做<math>EI_{parts}</math>的度量方法。具体来说，对于每一层的每个节点，我们记录它在随机扰动下的激活值，然后计算这些激活值与下一层节点之间的互信息。最后，我们将所有这些互信息值相加，得到<math>EI_{parts}</math>：
    
<math>
 
<math>
第134行： 第140行：  
</math>
 
</math>
   −
请注意，对于具有单个节点的层，EI和EI部分是相同的。当网络的每个节点只接收单个边缘时，情况也是如此。然而，<math>EI_{parts}</math>措施必然会错过某些积极的联合效应。重要的是，EI和EIparts度量之间的差异可以捕捉到联合效应的量，从而捕捉到逐层以前馈方式整合的信息量。具体来说，我们将EI（综合信息的上限）与第3节中定义的<math>EI_{parts}</math>进行比较，即<math>\Phi_{feedforward} = EI - EI_{parts}</math>。应该指出的是，向前的φf虽然旨在捕捉一层到另一层的总联合效应，但不受零的限制，可以是负的。
+
这里的<math>I(t_i, t_j)</math>表示节点<math>i</math>和节点<math>j</math>之间的互信息，<math>\text{do}(L_1 = H^{\max})</math>表示对输入层<math>L_1</math>进行最大熵扰动。
   −
为了了解DNN训练过程中层间联合效应的变化，我们分析了Iris和MNIST数据集训练过程中<math>φ_f</math>的前向变化（有关我们测量<math>EI_{parts}</math>的方法的详细信息，请参阅SI第7.1节）。我们观察到，MNIST训练的网络比Iris训练的网络具有更高的φf前馈，这表明因果结构确实根据任务的复杂性而有所不同，需要更多的联合效应来学习（见下图）。
+
==联合效应与独立效应的差异==
 +
 
 +
<math>EI_{parts}</math>衡量的是网络中每条边的独立贡献，但它可能会忽略一些联合效应。为了捕捉这些联合效应，我们计算<math>EI</math>和<math>EI_{parts}</math>之间的差异，即：
 +
 
 +
<math>
 +
\begin{equation}
 +
\Phi_{feedforward} = EI - EI_{parts}.
 +
\end{equation}
 +
</math>
 +
 
 +
这个差值<math>\Phi_{feedforward}</math>表示网络中联合效应的总量。如果<math>\Phi_{feedforward}</math>是正的，说明网络中的联合效应是有益的；如果是负的，说明这些联合效应可能是噪声。
 +
 
 +
==训练过程中联合效应的变化==
 +
 
 +
为了了解联合效应在训练过程中的变化，我们分析了两个经典的数据集：Iris和MNIST。我们发现，MNIST数据集上的网络比Iris数据集上的网络具有更高的<math>\Phi_{feedforward}</math>。这表明，MNIST任务更复杂，网络需要更多的联合效应来学习（见下图）。
    
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
 
[[文件:截屏2024-12-14 21.54.19.png|替代=|无框|500x500像素]]
−
      
=总结=
 
=总结=
相信未来
5,443

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/40955”