更改

跳到导航 跳到搜索
添加483字节 、 2024年6月9日 (星期日)
第13行: 第13行:  
然而,传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能扩充到一般的实数域,P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论<ref  name=Chvykov_causal_geometry>{{cite journal|author1=Chvykov P|author2=Hoel E.|title=Causal Geometry|journal=Entropy|year=2021|volume=23|issue=1|page=24|url=https://doi.org/10.3390/e2}}</ref>,将EI的定义扩充到了具备连续状态变量的函数映射上,并通过结合[[信息几何]]理论,探讨了EI的一种微扰形式,并与[[Fisher信息]]指标进行了比较,提出了[[因果几何]]的概念。然而,这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的,这一要求显然过于苛刻了。
 
然而,传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能扩充到一般的实数域,P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论<ref  name=Chvykov_causal_geometry>{{cite journal|author1=Chvykov P|author2=Hoel E.|title=Causal Geometry|journal=Entropy|year=2021|volume=23|issue=1|page=24|url=https://doi.org/10.3390/e2}}</ref>,将EI的定义扩充到了具备连续状态变量的函数映射上,并通过结合[[信息几何]]理论,探讨了EI的一种微扰形式,并与[[Fisher信息]]指标进行了比较,提出了[[因果几何]]的概念。然而,这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的,这一要求显然过于苛刻了。
   −
到了2022年,为了解决一般[[前馈神经网络]]的EI计算问题,[[张江]]与[[刘凯威]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉,探讨了EI的更一般形式<ref  name=zhang_nis>{{cite journal|title=Neural Information Squeezer for Causal Emergence|first1=Jiang|last1=Zhang|first2=Kaiwei|last2=Liu|journal=Entropy|year=2022|volume=25|issue=1|page=26|url=https://api.semanticscholar.org/CorpusID:246275672}}</ref>。然而,这种扩充仍然存在着一个缺陷,由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的,为了避免遭遇无穷大,EI的计算中就会带着一个参数[math]L[/math],表示均匀分布的区间范围。为了避免这个缺陷,也为了在不同[[粗粒化]]程度上比较EI,作者们便提出了[[维度平均EI]]的概念,并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量,而与其它参量,如L无关,而且,[[维度平均EI]]也可以看作是一种[[归一化的EI]],即Eff。
+
到了2022年,为了解决一般[[前馈神经网络]]的EI计算问题,[[张江]]与[[刘凯威]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉,探讨了EI的更一般形式<ref  name=zhang_nis>{{cite journal|title=Neural Information Squeezer for Causal Emergence|first1=Jiang|last1=Zhang|first2=Kaiwei|last2=Liu|journal=Entropy|year=2022|volume=25|issue=1|page=26|url=https://api.semanticscholar.org/CorpusID:246275672}}</ref><ref name=yang_nis+>{{cite journal|title=Finding emergence in data by maximizing effective information|author1=Mingzhe Yang|author2=Zhipeng Wang|author3=Kaiwei Liu|author4=Yingqi Rong|author5=Bing Yuan|author6=Jiang Zhang|journal=arXiv|page=2308.09952|year=2024}}</ref><ref name=liu_exact>{{cite journal|title=An Exact Theory of Causal Emergence for Stochastic Iterative Systems|author1=Kaiwei Liu|author2=Bing Yuan|author3=Jiang Zhang|journal=arXiv|page=2405.09207|year=2024}}</ref>。然而,这种扩充仍然存在着一个缺陷,由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的,为了避免遭遇无穷大,EI的计算中就会带着一个参数[math]L[/math],表示均匀分布的区间范围。为了避免这个缺陷,也为了在不同[[粗粒化]]程度上比较EI,作者们便提出了[[维度平均EI]]的概念,并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量,而与其它参量,如L无关,而且,[[维度平均EI]]也可以看作是一种[[归一化的EI]],即Eff。
    
本质上讲,EI仅仅与一个[[马尔科夫动力系统]]的[[动力学]]——也就是有关[[马尔科夫状态转移矩阵]]有关,而与状态变量的分布无关,然而,这一点在之前的文章中并没有被指出或刻意强调。在2024年的[[袁冰]]等人的综述文章,作者们进一步强调了这一点,并给出了EI仅依赖于[[马尔科夫状态转移矩阵]]的显式形式<ref name=review>{{cite journal|last1=Yuan|first1=Bing|last2=Zhang|first2=Jiang|last3=Lyu|first3=Aobo|last4=Wu|first4=Jiaying|last5=Wang|first5=Zhipeng|last6=Yang|first6=Mingzhe|last7=Liu|first7=Kaiwei|last8=Mou|first8=Muyun|last9=Cui|first9=Peng|year=2024|title=Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies|journal=Entropy|volume=26|issue=2|page=108|url=https://doi.org/10.3390/e26020108}}</ref>。[[张江]]等人在最新的讨论[[动力学可逆性]]与[[因果涌现]]的文章中,又指出EI实际上是对底层[[马尔科夫状态转移矩阵]]的[[可逆性]]的一种刻画,于是尝试直接刻画这种[[马尔科夫链的动力学可逆性]]以替代EI<ref name=zhang_reversibility>{{cite journal|author1=Jiang Zhang|author2=Ruyi Tao|author3=Keng Hou Leong|author4=Mingzhe Yang|author5=Bing Yuan|year=2024|title=Dynamical reversibility and a new theory of causal emergence|url=https://arxiv.org/abs/2402.15054}}</ref>。
 
本质上讲,EI仅仅与一个[[马尔科夫动力系统]]的[[动力学]]——也就是有关[[马尔科夫状态转移矩阵]]有关,而与状态变量的分布无关,然而,这一点在之前的文章中并没有被指出或刻意强调。在2024年的[[袁冰]]等人的综述文章,作者们进一步强调了这一点,并给出了EI仅依赖于[[马尔科夫状态转移矩阵]]的显式形式<ref name=review>{{cite journal|last1=Yuan|first1=Bing|last2=Zhang|first2=Jiang|last3=Lyu|first3=Aobo|last4=Wu|first4=Jiaying|last5=Wang|first5=Zhipeng|last6=Yang|first6=Mingzhe|last7=Liu|first7=Kaiwei|last8=Mou|first8=Muyun|last9=Cui|first9=Peng|year=2024|title=Emergence and Causality in Complex Systems: A Survey of Causal Emergence and Related Quantitative Studies|journal=Entropy|volume=26|issue=2|page=108|url=https://doi.org/10.3390/e26020108}}</ref>。[[张江]]等人在最新的讨论[[动力学可逆性]]与[[因果涌现]]的文章中,又指出EI实际上是对底层[[马尔科夫状态转移矩阵]]的[[可逆性]]的一种刻画,于是尝试直接刻画这种[[马尔科夫链的动力学可逆性]]以替代EI<ref name=zhang_reversibility>{{cite journal|author1=Jiang Zhang|author2=Ruyi Tao|author3=Keng Hou Leong|author4=Mingzhe Yang|author5=Bing Yuan|year=2024|title=Dynamical reversibility and a new theory of causal emergence|url=https://arxiv.org/abs/2402.15054}}</ref>。
346

个编辑

导航菜单