更改

跳到导航 跳到搜索
添加662字节 、 2024年7月20日 (星期六)
无编辑摘要
第13行: 第13行:     
===早期相关工作===
 
===早期相关工作===
早期已经有一些相关的工作尝试对涌现进行定量的分析。Crutchfield等<ref name=":3">J. P. Crutchfield, K. Young, Inferring statistical complexity, Physical review letters 63 (2) (1989) 105.</ref>提出的计算力学理论考虑了因果状态,该方法是对状态空间的划分。而Seth等人则提出了G-emergence理论<ref name=":4">A. K. Seth, Measuring emergence via nonlinear granger causality., in: alife, Vol. 2008, 2008, pp. 545–552.</ref>利用格兰杰因果关系来量化涌现。
+
早期已经有一些相关的工作尝试对涌现进行定量的分析。Crutchfield等<ref name=":3">J. P. Crutchfield, K. Young, Inferring statistical complexity, Physical review letters 63 (2) (1989) 105.</ref>提出的计算力学理论考虑了因果状态,该方法是对状态空间的划分。而Seth等人则提出了G-emergence理论<ref name=":4">A. K. Seth, Measuring emergence via nonlinear granger causality., in: alife, Vol. 2008, 2008, pp. 545–552.</ref>利用[[格兰杰因果关系]]来量化涌现。
    
====计算力学====
 
====计算力学====
第29行: 第29行:     
===后续工作===
 
===后续工作===
此外,在提出基于有效信息来判断因果涌现的发生以外,近年来也发展了一些其他的工作,Rosas等<ref name=":5" />从信息理论视角出发,提出一种基于[[信息分解]]方法来定义系统中的因果涌现,基于[[协同信息]]或者[[冗余信息]]来定量的刻画涌现。[[张江]]等人<ref name=":2">Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>基于[[奇异值分解]],提出了一套新的因果涌现理论。给定一个系统的马尔科夫转移矩阵,通过对它进行奇异值分解,将奇异值的<math>\alpha</math>次方的和定义为马尔科夫动力学的可逆性度量(<math>\Gamma_{\alpha}\equiv \sum_{i=1}^N\sigma_i^{\alpha}</math>),随后针对不同的动力学,定义清晰涌现和模糊涌现的指标。Barnett等<ref name=":6">Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>人基于[[转移熵]],通过判断宏观动力学与微观动力学进行解耦来判断涌现的发生。
+
此外,在提出基于有效信息来判断因果涌现的发生以外,近年来也发展了一些其他的工作,Rosas等<ref name=":5" />从[[信息论|信息理论]]视角出发,提出一种基于[[信息分解]]方法来定义系统中的因果涌现,基于[[协同信息]]或者[[冗余信息]]来定量的刻画涌现。[[张江]]等人<ref name=":2">Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>基于[[奇异值分解]],提出了一套新的因果涌现理论。给定一个系统的马尔科夫转移矩阵,通过对它进行奇异值分解,将奇异值的<math>\alpha</math>次方的和定义为马尔科夫动力学的可逆性度量(<math>\Gamma_{\alpha}\equiv \sum_{i=1}^N\sigma_i^{\alpha}</math>),随后针对不同的动力学,定义清晰涌现和模糊涌现的指标。Barnett等<ref name=":6">Barnett L, Seth AK. Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems. Physical Review E. 2023 Jul;108(1):014304.</ref>人基于[[转移熵]],通过判断宏观动力学与微观动力学进行解耦来判断涌现的发生。
    
==因果涌现的量化==
 
==因果涌现的量化==
第37行: 第37行:  
近年来一些研究人员也提出一些定量刻画因果涌现的方法。对于如何定义因果涌现是一个关键问题,有几个代表性工作,分别是Hoel等<ref name=":0" /><ref name=":1" />提出的基于粗粒化的方法、Rosas等<ref name=":5">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>提出的基于信息分解的方法、张江等人<ref name=":2" />基于奇异值分解提出了一套新的因果涌现理论以及一些其他的理论。
 
近年来一些研究人员也提出一些定量刻画因果涌现的方法。对于如何定义因果涌现是一个关键问题,有几个代表性工作,分别是Hoel等<ref name=":0" /><ref name=":1" />提出的基于粗粒化的方法、Rosas等<ref name=":5">Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.</ref>提出的基于信息分解的方法、张江等人<ref name=":2" />基于奇异值分解提出了一套新的因果涌现理论以及一些其他的理论。
 
====Erik Hoel的因果涌现理论====
 
====Erik Hoel的因果涌现理论====
Hoel等<ref name=":0" /><ref name=":1" />最早提出因果涌现理论,右图是对该理论框架的一个抽象,其中,横坐标表示时间尺度,纵坐标表示空间尺度。该框架可以看成是一个多层级的系统,存在微观和宏观两种状态。由于微观态往往具有很大的噪音,导致微观动力学的[[因果性]]比较弱,所以如果能对微观态进行合适的粗粒化得到噪音更小的宏观态,从而能使得宏观动力学的因果性更强。此外,因果涌现现象的发生意味着,当粗粒化微观状态时,从当前状态传递到下一状态的[[有效信息]]量会增加。[[文件:因果涌现理论抽象框架.png|因果涌现理论框架|alt=因果涌现理论抽象框架|居中|368x368像素|缩略图]]作者借鉴了[[整合信息]]的量化方法<ref>Tononi G, Sporns O. Measuring information integration[J]. BMC neuroscience, 2003, 41-20.</ref>,提出一种因果效应度量指标有效信息(<math> EI </math>)来量化一个马尔科夫动力学的因果性强弱,该指标反应一个特定的状态如何有效地影响系统的未来状态,是系统动力学的内禀属性。具体来说,使用干预操作对上一时刻的状态做干预,然后计算干预分布与在干预的情况下经过动力学的下一时刻分布两者之间的互信息作为因果效应的度量指标, <math> EI </math>的计算公式如下所示:
+
Hoel等<ref name=":0" /><ref name=":1" />最早提出因果涌现理论,右图是对该理论框架的一个抽象,其中,横坐标表示时间尺度,纵坐标表示空间尺度。该框架可以看成是一个多层级的系统,存在微观和宏观两种状态。由于微观态往往具有很大的噪音,导致微观动力学的[[因果性]]比较弱,所以如果能对微观态进行合适的粗粒化得到噪音更小的宏观态,从而能使得宏观动力学的因果性更强。此外,因果涌现现象的发生意味着,当粗粒化微观状态时,从当前状态传递到下一状态的[[有效信息]]量会增加。[[文件:因果涌现理论抽象框架.png|因果涌现理论框架|alt=因果涌现理论抽象框架|居中|368x368像素|缩略图]]作者借鉴了[[整合信息]]的量化方法<ref>Tononi G, Sporns O. Measuring information integration[J]. BMC neuroscience, 2003, 41-20.</ref>,提出一种因果效应度量指标有效信息(<math> EI </math>)来量化一个马尔科夫动力学的因果性强弱,该指标反应一个特定的状态如何有效地影响系统的未来状态,是系统动力学的内禀属性。具体来说,使用干预操作对上一时刻的状态做[[干预]],然后计算干预分布与在干预的情况下经过动力学的下一时刻分布两者之间的互信息作为因果效应的度量指标, <math> EI </math>的计算公式如下所示:
    
<math>EI\left(S\right)=MI\left(I_D;E_D\right)=\sum_{i\in I_D}\ p\left(do\left(s_{t-1}=i\right)\right)\sum_{s_t\in E_D}{p\left(s_t\middle|\ d\ o\left(s_{t-1}=i\right)\right)}\log_2{\frac{p\left(s_t\middle|\ d\ o\left(s_{t-1}=i\right)\right)}{p\left(s_t\right)}}\ </math>
 
<math>EI\left(S\right)=MI\left(I_D;E_D\right)=\sum_{i\in I_D}\ p\left(do\left(s_{t-1}=i\right)\right)\sum_{s_t\in E_D}{p\left(s_t\middle|\ d\ o\left(s_{t-1}=i\right)\right)}\log_2{\frac{p\left(s_t\middle|\ d\ o\left(s_{t-1}=i\right)\right)}{p\left(s_t\right)}}\ </math>
第65行: 第65行:  
[[文件:因果解耦与向下因果.png|缩略图|替代=|居中|因果解耦与向下因果]]
 
[[文件:因果解耦与向下因果.png|缩略图|替代=|居中|因果解耦与向下因果]]
   −
该方法建立在Williams和Beer等<ref>Williams P L, Beer R D. Nonnegative decomposition of multivariate information[J]. arXiv preprint arXiv:10042515, 2010.</ref>提出的多元信息非负分解的基础上,Beer使用[[偏信息分解]](PID)将微观态<math>X(X^1,X^2 ) </math>与宏观态<math>V </math>之间的互信息分解为四个部分,计算公式如下所示:
+
该方法建立在Williams和Beer等<ref>Williams P L, Beer R D. Nonnegative decomposition of multivariate information[J]. arXiv preprint arXiv:10042515, 2010.</ref>提出的多元信息非负分解的基础上,Beer使用[[偏信息分解]](PID)将微观态<math>X(X^1,X^2 ) </math>与宏观态<math>V </math>之间的[[互信息]]分解为四个部分,计算公式如下所示:
    
<math>I(X^1,X^2;V)=Red(X^1,X^2;V)+Un(X^1;V│X^2 )+Un(X^2;V│X^1 )+Syn(X^1,X^2;V) </math>
 
<math>I(X^1,X^2;V)=Red(X^1,X^2;V)+Un(X^1;V│X^2 )+Un(X^2;V│X^1 )+Syn(X^1,X^2;V) </math>
第203行: 第203行:  
其中<math>\xi </math>表示系统中的噪音。
 
其中<math>\xi </math>表示系统中的噪音。
   −
为了识别系统中的因果涌现,作者提出一种[[神经信息压缩器]]方法,构建Encoder-Dynamic Learning-Decoder框架,该模型由编码器、动力学学习器以及解码器三个部分构成,用神经网络构建动力学学习器(<math>f </math>),用[[可逆神经网络]](INN)构建编码器(Encoder)和解码器(Decoder)。该模型框架可以看成是一个神经信息压缩器,将包含噪音的微观态压缩成宏观态,丢弃无用的信息,从而使得宏观动力学的因果性更强。NIS方法的模型框架如图所示。
+
为了识别系统中的因果涌现,作者提出一种[[神经信息压缩器]](NIS)方法,构建Encoder-Dynamic Learning-Decoder框架,该模型由编码器、动力学学习器以及解码器三个部分构成,用神经网络构建动力学学习器(<math>f </math>),用[[可逆神经网络]](INN)构建编码器(Encoder)和解码器(Decoder)。该模型框架可以看成是一个神经信息压缩器,将包含噪音的微观态压缩成宏观态,丢弃无用的信息,从而使得宏观动力学的因果性更强。NIS方法的模型框架如图所示。
 
[[文件:NIS模型框架图.png|居中|400x400像素|替代=NIS模型框架图|NIS模型框架图|缩略图]]
 
[[文件:NIS模型框架图.png|居中|400x400像素|替代=NIS模型框架图|NIS模型框架图|缩略图]]
   第263行: 第263行:  
生物网络中充满噪音使得很难理解其内部的运作原理,这种噪音一方面来自系统的固有噪音,另一方面是由于测量或观察引入的, Klein等<ref>Klein B, Swain A, Byrum T, et al. Exploring noise, degeneracy and determinism in biological networks with the einet package[J]. Methods in Ecology and Evolution, 2022, 13(4): 799-804.</ref>进一步探索了生物网络中的噪声、简并性和确定性三者之间的关系以及具体含义。例如,基因表达网络中的高度确定性关系可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在简并现象,这两个原因导致目前尚不清楚在何种尺度上分析生物系统才能最好地理解它们的功能。Klein等<ref>Klein B, Hoel E, Swain A, et al. Evolution and emergence: higher order information structure in protein interactomes across the tree of life[J]. Integrative Biology, 2021, 13(12): 283-294.</ref>分析了超过1800个物种的蛋白质相互作用网络,发现宏观尺度的网络具有更小的噪音和简并性,同时与不参与宏观尺度的节点相比,组成宏观尺度交互群中的节点更具有弹性。因此,生物网络为了适应进化的要求,需要演化成宏观尺度以提高确定性来增强网络的弹性以及提高信息传输的有效性。
 
生物网络中充满噪音使得很难理解其内部的运作原理,这种噪音一方面来自系统的固有噪音,另一方面是由于测量或观察引入的, Klein等<ref>Klein B, Swain A, Byrum T, et al. Exploring noise, degeneracy and determinism in biological networks with the einet package[J]. Methods in Ecology and Evolution, 2022, 13(4): 799-804.</ref>进一步探索了生物网络中的噪声、简并性和确定性三者之间的关系以及具体含义。例如,基因表达网络中的高度确定性关系可以理解为一个基因几乎肯定会导致另一个基因的表达。同时生物系统在进化过程中也普遍存在简并现象,这两个原因导致目前尚不清楚在何种尺度上分析生物系统才能最好地理解它们的功能。Klein等<ref>Klein B, Hoel E, Swain A, et al. Evolution and emergence: higher order information structure in protein interactomes across the tree of life[J]. Integrative Biology, 2021, 13(12): 283-294.</ref>分析了超过1800个物种的蛋白质相互作用网络,发现宏观尺度的网络具有更小的噪音和简并性,同时与不参与宏观尺度的节点相比,组成宏观尺度交互群中的节点更具有弹性。因此,生物网络为了适应进化的要求,需要演化成宏观尺度以提高确定性来增强网络的弹性以及提高信息传输的有效性。
 
[[文件:蛋白质网络中的因果涌现.png|居中|400x400像素|缩略图|蛋白质网络中的因果涌现]]
 
[[文件:蛋白质网络中的因果涌现.png|居中|400x400像素|缩略图|蛋白质网络中的因果涌现]]
Hoel等<ref>Hoel E, Levin M. Emergence of informative higher scales in biological systems: a computational toolkit for optimal prediction and control[J]. Communicative & Integrative Biology, 2020, 13(1): 108-118.</ref>借助[[有效信息]]理论进一步研究生物系统中的因果涌现,作者将有效信息应用到基因调控网络中,识别最能提供信息的心脏发育模型从而控制哺乳动物的心脏发育。通过量化酿酒酵母基因网络的最大联通集团的因果涌现,揭示富有信息的宏观尺度在生物学中是普遍存在的以及生命机制本身也经常运行在宏观尺度上。该方法也为生物学家提供一个可计算的工具来识别最具有信息的宏观尺度,并且可以在此基础上建模、预测、控制和理解复杂的生物系统。  
+
Hoel等<ref>Hoel E, Levin M. Emergence of informative higher scales in biological systems: a computational toolkit for optimal prediction and control[J]. Communicative & Integrative Biology, 2020, 13(1): 108-118.</ref>借助[[有效信息]]理论进一步研究生物系统中的因果涌现,作者将有效信息应用到基因调控网络中,识别最能提供信息的心脏发育模型从而控制哺乳动物的心脏发育。通过量化酿酒酵母基因网络的最大联通集团的因果涌现,揭示富有信息的宏观尺度在生物学中是普遍存在的以及生命机制本身也经常运行在宏观尺度上。该方法也为生物学家提供一个可计算的工具来识别最具有信息的宏观尺度,并且可以在此基础上建模、预测、控制和理解复杂的生物系统。
 +
 
 +
为验证猕猴运动有关的信息是其皮层活动的一个涌现特征,Rosas等尝试基于猕猴的皮质脑电图(ECoG)和动作捕捉(MoCap)数据进行实验,其中ECoG和MoCap分别由64个通道和3个通道的数据构成微观和宏观数据,由于最原始的MoCap数据不满足随附特征的条件独立假设,因此,作者使用偏最小二乘和支持向量机算法推断出与预测猕猴行为有关的编码在ECoG信号中的那部分神经活动,并推测该信息就是潜在神经活动的涌现特征,然后基于计算出来的宏观特征与微观状态验证因果涌现的存在。
    
Swain等<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>探索蚁群的交互历史对任务分配和任务切换的影响,使用有效信息研究噪声信息如何在蚂蚁之间进行传播。结果发现,蚁群之间历史交互程度影响任务的分配,并且具体交互中蚂蚁群体的类型决定交互中的噪音。此外,即使当蚂蚁切换功能群时,蚁群涌现出来的凝聚力也能保证群体的稳定,同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
 
Swain等<ref>Swain A, Williams S D, Di Felice L J, et al. Interactions and information: exploring task allocation in ant colonies using network analysis[J]. Animal Behaviour, 2022, 18969-81.</ref>探索蚁群的交互历史对任务分配和任务切换的影响,使用有效信息研究噪声信息如何在蚂蚁之间进行传播。结果发现,蚁群之间历史交互程度影响任务的分配,并且具体交互中蚂蚁群体的类型决定交互中的噪音。此外,即使当蚂蚁切换功能群时,蚁群涌现出来的凝聚力也能保证群体的稳定,同时不同功能蚁群在维持蚁群凝聚力方面也发挥着不同的作用。
第284行: 第286行:     
==相关领域研究==
 
==相关领域研究==
此外,存在一些相关领域研究与因果涌现理论联系比较紧密,重点介绍与因果科学、因果模型抽象、模型约简、动力学模式分解以及马尔可夫链的简化的区别和联系。
+
存在一些相关领域研究与因果涌现理论联系比较紧密,重点介绍与因果科学、因果模型抽象、模型约简、动力学模式分解以及马尔可夫链的简化的区别和联系。
 
===因果科学===
 
===因果科学===
   第394行: 第396行:     
由此可见,由于归一化的EI消除了系统尺寸的影响,因此因果涌现度量更大。我们也可以把因果涌现作为指标,评判马尔科夫链的简化是否最佳。
 
由此可见,由于归一化的EI消除了系统尺寸的影响,因此因果涌现度量更大。我们也可以把因果涌现作为指标,评判马尔科夫链的简化是否最佳。
   
==参考文献==
 
==参考文献==
 
<references />
 
<references />
1,884

个编辑

导航菜单