更改

跳到导航 跳到搜索
添加176字节 、 2024年8月23日 (星期五)
第371行: 第371行:     
==应用==
 
==应用==
主要讲解因果涌现的潜在应用, 包括: 生物系统、[[神经网络]]、脑神经系统、[[人工智能]]([[因果表示学习]]、[[基于世界模型的强化学习]])等。
     −
这些定量的量化因果涌现的方法已经广泛应用到很多[[复杂系统 Complex Systems|复杂系统]]中,包括具有成百上千节点的复杂网络以及神经网络,到具有明显涌现现象的[[康威的生命游戏 Conway's Game of Life|生命游戏]]、鸟群模型、蛋白质交互、生物以及真实的大脑网络等。
+
本小节主要讲解因果涌现在各个[[复杂系统 Complex Systems|复杂系统]]中的潜在应用, 包括: 生物系统、[[神经网络]]、脑神经系统、[[人工智能]]([[因果表示学习]]、[[基于世界模型的强化学习]])等。
    
===复杂网络中的因果涌现===
 
===复杂网络中的因果涌现===
2020年,Klein和Hoel改进此前提出的基于粗粒化的方法并将其应用到[[复杂网络]]中<ref>Klein B, Hoel E. The emergence of informative higher scales in complex networks[J]. Complexity, 2020, 20201-12.</ref>,作者借助[[随机游走子]]来定义网络中的[[马尔科夫链]],将随机游走子放在节点上等价于对节点做干预,然后基于随机游走概率定义节点的转移概率矩阵。同时作者将[[有效信息]]与网络的连通性建立联系,网络中的连通性可以通过节点的出边和入边的权重的不确定性来表征,基于此定义复杂网络中的有效信息。
+
2020年,Klein和Hoel改进马尔科夫链上定量化因果涌现的方法以应用到[[复杂网络]]中<ref>Klein B, Hoel E. The emergence of informative higher scales in complex networks[J]. Complexity, 2020, 20201-12.</ref>,作者借助[[随机游走子]]来定义网络中的[[马尔科夫链]],将随机游走子放在节点上等价于对节点做干预,然后基于随机游走概率定义节点的转移概率矩阵。同时作者将[[有效信息]]与网络的连通性建立联系,网络中的连通性可以通过节点的出边和入边的权重的不确定性来表征,基于此定义复杂网络中的有效信息。详细方法可以参考[[复杂网络上的因果涌现]]。
   −
[[随机网络模型|随机网络]](ER)、[[偏好依赖网络]](PA)等人工网络以及四类真实网络中进行实验比较。对于ER网络来说,有效信息的大小只依赖于[[连接概率]]<math>p </math>,并且随着网络规模的增大会收敛到<math>-log_2p </math>。同时一个关键发现表明,存在一个相变点,该相变点近似在网络的[[平均度]](<math><k> </math>)等于<math>log_2N </math>的位置,同样对应于ER网络随着连接概率增加而出现[[巨连通集团]]的[[相变点]]位置,超过该相变点随机网络结构不会随着其规模的增加而包含更多的信息。对于PA网络来说,<math>\alpha<1.0 </math>时,有效信息的大小会随着网络规模的增加而增大;<math>\alpha>1.0 </math>时,结论相反;<math>\alpha=1.0 </math>对应的[[无标度网络]]则是增长的[[临界边界]]。对于真实网络,作者发现,生物网络因为具有很大的噪音,所以有效信息最低,通过有效的粗粒化能去除这些噪音,相比于其他类型网络因果涌现最显著,而技术类型网络是更稀疏、非退化的,因此,平均效率更高,节点关系也更加具体,所有有效信息也最高。
+
作者在[[随机网络模型|随机网络]](ER)、[[偏好依赖网络]](PA)等人工网络以及四类真实网络中进行实验比较,发现:对于ER网络来说,有效信息的大小只依赖于[[连接概率]]<math>p </math>,并且随着网络规模的增大会收敛到<math>-\log_2p </math>。同时一个关键发现表明,EI数值存在一个相变点,该相变点近似在网络的[[平均度]](<math><k> </math>)等于<math>\log_2N </math>的位置出现,同样对应于ER网络随着连接概率增加而出现[[巨连通集团]]的[[相变点]]位置,超过该相变点随机网络结构不会随着其规模的增加而包含更多的信息。对于PA网络来说,当<math>\alpha<1.0 </math>时,有效信息的大小会随着网络规模的增加而增大;<math>\alpha>1.0 </math>时,结论相反;<math>\alpha=1.0 </math>对应的[[无标度网络]]则是增长的[[临界边界]]。对于真实网络,作者发现,生物网络因为具有很大的噪音,所以有效信息最低。然而,我们可以通过有效的粗粒化能去除这些噪音,这就使得生物网络相比于其他类型网络能够展现出更显著的因果涌现;而因为技术类型网络是更稀疏、非退化,因此,平均效率更高,节点关系也更加具体,所有有效信息也最高,但是难以通过粗粒化来增加因果涌现度量。
   −
在该文章中作者使用[[贪婪算法]]来构建宏观尺度的网络,然而对于大规模网络来说,效率仍然很低。随后,Griebenow等<ref>Griebenow R, Klein B, Hoel E. Finding the right scale of a network: efficient identification of causal emergence through spectral clustering[J]. arXiv preprint arXiv:190807565, 2019.</ref>提出了一种基于[[谱聚类]]的方法来识别[[偏好依附网络]]中的因果涌现。相比[[贪婪算法]]以及[[梯度下降算法]],[[谱聚类算法]]的计算时间最少,同时找到的宏观网络的因果涌现也更加显著。
+
在该文章中作者使用[[贪婪算法]]来粗粒化网络,然而对于大规模网络来说,这种算法效率很低。随后,Griebenow等<ref>Griebenow R, Klein B, Hoel E. Finding the right scale of a network: efficient identification of causal emergence through spectral clustering[J]. arXiv preprint arXiv:190807565, 2019.</ref>提出了一种基于[[谱聚类]]的方法来识别[[偏好依附网络]]中的因果涌现。相比[[贪婪算法]]以及[[梯度下降算法]],[[谱聚类算法]]的计算时间更少,同时找到的宏观网络的因果涌现也更加显著。
    
===在生物系统上的应用===
 
===在生物系统上的应用===
[[生物网络]]中充满噪音使得很难理解其内部的运作原理,这种噪音一方面来自系统的固有噪音,另一方面是由于测量或观察引入的, Klein等<ref>Klein B, Swain A, Byrum T, et al. Exploring noise, degeneracy and determinism in biological networks with the einet package[J]. Methods in Ecology and Evolution, 2022, 13(4): 799-804.</ref>进一步探索了生物网络中的噪声、[[简并性]]和[[确定性]]三者之间的关系以及具体含义。例如,基因表达网络中的高度确定性关系可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在简并现象,这两个原因导致目前尚不清楚在何种尺度上分析生物系统才能最好地理解它们的功能。Klein等<ref>Klein B, Hoel E, Swain A, et al. Evolution and emergence: higher order information structure in protein interactomes across the tree of life[J]. Integrative Biology, 2021, 13(12): 283-294.</ref>分析了超过1800个物种的蛋白质相互作用网络,发现宏观尺度的网络具有更小的噪音和简并性,同时与不参与宏观尺度的节点相比,组成宏观尺度交互群中的节点更具有弹性。因此,生物网络为了适应进化的要求,需要演化成宏观尺度以提高确定性来增强[[网络弹性]]以及提高信息传输的有效性。
+
进一步,Klein等人将[[复杂网络上的因果涌现]]方法扩展到了更多的生物网络中。前文已经指出,[[生物网络]]具有更大的噪音,这使得我们很难理解其内部的运作原理,这种噪音一方面来自系统的固有噪音,另一方面是由于测量或观察引入的。Klein等<ref>Klein B, Swain A, Byrum T, et al. Exploring noise, degeneracy and determinism in biological networks with the einet package[J]. Methods in Ecology and Evolution, 2022, 13(4): 799-804.</ref>进一步探索了生物网络中的噪声、[[简并性]]和[[确定性]]三者之间的关系以及具体含义,得出了一些有趣的结论。
   −
Hoel等<ref>Hoel E, Levin M. Emergence of informative higher scales in biological systems: a computational toolkit for optimal prediction and control[J]. Communicative & Integrative Biology, 2020, 13(1): 108-118.</ref>借助[[有效信息]]理论进一步研究生物系统中的因果涌现,作者将有效信息应用到基因调控网络中,识别最能提供信息的心脏发育模型从而控制哺乳动物的心脏发育。通过量化酿酒酵母基因网络的最大联通集团的因果涌现,揭示富有信息的宏观尺度在生物学中是普遍存在的以及生命机制本身也经常运行在宏观尺度上。该方法也为生物学家提供一个可计算的工具来识别最具有信息的宏观尺度,并且可以在此基础上建模、预测、控制和理解复杂的生物系统。
+
例如,基因表达网络中的高[[确定性]]可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在高[[简并性]]现象。这两个因素共同导致,目前人们尚不清楚应该在何种尺度上分析生物系统才能最好地理解它们的功能。Klein等<ref>Klein B, Hoel E, Swain A, et al. Evolution and emergence: higher order information structure in protein interactomes across the tree of life[J]. Integrative Biology, 2021, 13(12): 283-294.</ref>分析了超过1800个物种的[[蛋白质相互作用网络]],发现宏观尺度的网络具有更小的噪音和[[简并性]],同时与不参与宏观尺度的节点相比,组成宏观尺度交互群中的节点更具有弹性。因此,生物网络为了适应进化的要求,需要演化出宏观尺度以提高确定性来增强[[网络弹性]]以及提高信息传输的有效性。
   −
Swain等<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>探索蚁群的交互历史对任务分配和任务切换的影响,使用有效信息研究噪声信息如何在蚂蚁之间进行传播。结果发现,蚁群之间历史交互程度影响任务的分配,并且具体交互中蚂蚁群体的类型决定交互中的噪音。此外,即使当蚂蚁切换功能群时,蚁群涌现出来的凝聚力也能保证群体的稳定,同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
+
Hoel等在文章<ref>Hoel E, Levin M. Emergence of informative higher scales in biological systems: a computational toolkit for optimal prediction and control[J]. Communicative & Integrative Biology, 2020, 13(1): 108-118.</ref>中借助[[有效信息]]理论进一步研究生物系统中的因果涌现。作者将有效信息应用到[[基因调控网络]]中,以识别最能提供信息的心脏发育模型从而控制哺乳动物的心脏发育。通过量化酿酒酵母基因网络的[[最大联通集团]]中的因果涌现,揭示富有信息的宏观尺度在生物学中是普遍存在的,以及生命机制本身也经常运行在宏观尺度上。该方法也为生物学家提供一个可计算的工具来识别最具有信息的宏观尺度,并且可以在此基础上建模、预测、控制和理解复杂的生物系统。
 +
 
 +
Swain等在文章<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>中探索了蚁群的交互历史对任务分配和任务切换的影响,使用有效信息研究噪声如何在蚂蚁之间传播。结果发现,蚁群之间历史交互程度影响任务的分配,并且具体交互中蚂蚁群体的类型决定了交互中的噪音。此外,即使当蚂蚁切换功能群时,蚁群涌现出来的凝聚力也能保证群体的稳定,同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
    
===在人工神经网络上的应用===
 
===在人工神经网络上的应用===
642

个编辑

导航菜单