更改

跳到导航 跳到搜索
添加14字节 、 2024年5月12日 (星期日)
第6行: 第6行:  
然而,传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域,P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论,将EI的定义扩充到了具备连续状态变量的函数映射上,并通过结合[[信息几何]]理论,探讨了EI的一种微扰形式,并与[[Fisher信息]]指标进行了比较,提出了[[因果几何]]的概念。然而,这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的,这显然是一种特殊情况。
 
然而,传统的EI主要被用于具有离散状态的[[马尔科夫链]]上。为了能过扩充到一般的实数域,P. Chvykov和E. Hoel于2020年合作提出了[[因果几何]]理论,将EI的定义扩充到了具备连续状态变量的函数映射上,并通过结合[[信息几何]]理论,探讨了EI的一种微扰形式,并与[[Fisher信息]]指标进行了比较,提出了[[因果几何]]的概念。然而,这一连续变量的EI计算方法需要假设方程中的正态分布随机变量的方差是无限小的,这显然是一种特殊情况。
   −
到了2022年,为了解决一般[[前馈神经网络]]的EI计算问题,[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉,探讨了EI的更一般形式。然而,这样计算的缺陷是,由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的,为了避免遭遇无穷大,EI的计算中就会带着一个参数,表示均匀分布的区间范围。为了避免这个缺陷,也为了在不同[[粗粒化]]程度上比较EI,作者们便提出了[[维度平均EI]]的概念,并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量,而与其它参量无关。
+
到了2022年,为了解决一般[[前馈神经网络]]的EI计算问题,[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉,探讨了EI的更一般形式。然而,这样计算的缺陷是,由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的,为了避免遭遇无穷大,EI的计算中就会带着一个参数[math]L[/math],表示均匀分布的区间范围。为了避免这个缺陷,也为了在不同[[粗粒化]]程度上比较EI,作者们便提出了[[维度平均EI]]的概念,并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量,而与其它参量无关。
    
实际上,对于任何一个随机过程,我们都可以用类似的办法来计算其动力学的因果强度。结合多尺度视角,Hoel借此发展出了一套[[因果涌现 Causal Emergence|因果涌现]]理论。
 
实际上,对于任何一个随机过程,我们都可以用类似的办法来计算其动力学的因果强度。结合多尺度视角,Hoel借此发展出了一套[[因果涌现 Causal Emergence|因果涌现]]理论。
74

个编辑

导航菜单