更改

添加155字节 、 2024年10月31日 (星期四)
第31行: 第31行:  
[[计算力学]]理论试图用定量的框架来表述涌现的因果规律,即如何从一个随机过程中构造一种粗粒化的[[因果模型]],从而使得这个模型可以产生已观测的随机过程的时间序列<ref name=":3" />。
 
[[计算力学]]理论试图用定量的框架来表述涌现的因果规律,即如何从一个随机过程中构造一种粗粒化的[[因果模型]],从而使得这个模型可以产生已观测的随机过程的时间序列<ref name=":3" />。
   −
这里的随机过程可以用<math>\overleftrightarrow{s}</math>表示,基于时间<math>t</math>可以将[[随机过程]]分为两个部分,时间<math>t</math>前的过程<math>\overleftarrow{s_t}</math>,以及时间<math>t</math>后的过程<math>\overrightarrow{s_t}</math>。计算力学将所有可能的历史过程<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>,所有未来的过程<math>\overrightarrow{s_t}</math>形成的集合记作<math> \overrightarrow{S}</math>。
     −
计算力学的目标是建立一个模型,希望以一定的准确度的方式重建和预测观察到的随机序列。然而,序列的随机性使我们无法获得完美的重建,因此,我们需要一个粗粒化的映射来捕获随机序列中的有序结构。这个粗粒化映射可以用一个划分函数<math>\eta: \overleftarrow{S}\mathcal{R}</math>来刻画,该函数可以将<math>\overleftarrow{S}</math>划分为相互排斥的若干子集(所有的互斥子集形成全集),形成的集合记为<math>\mathcal{R}</math>。
+
这里的随机过程可以用 <math>\overleftrightarrow{s}</math> 表示,基于时间 <math>t</math> 可以将[[随机过程]]分为两个部分,时间 <math>t</math> 前的过程 <math>\overleftarrow{s_t}</math>,以及时间 <math>t</math> 后的过程 <math>\overrightarrow{s_t}</math> 。计算力学将所有可能的历史过程 <math>\overleftarrow{s_t}</math> 形成的集合记作 <math> \overleftarrow{S}</math>,所有未来的过程 <math>\overrightarrow{s_t}</math> 形成的集合记作 <math> \overrightarrow{S}</math>。
      −
计算力学将任意的子集<math>R \in \mathcal{R}</math>看作是一个宏观状态。对于一组宏观状态集合<math>\mathcal{R}</math>,计算力学使用香农熵定义其统计复杂性指标<math>C_\mu</math>来衡量状态的复杂性,其中:
+
计算力学的目标是建立一个模型,希望以一定的准确度对观察到的随机序列进行重建和预测。然而,序列的随机性使我们无法获得完美的重建,因此,我们需要一个粗粒化的映射来捕获随机序列中的有序结构。这个粗粒化映射可以用一个划分函数 <math>\eta: \overleftarrow{S}→\mathcal{R}</math> 来刻画,该函数可以将 <math>\overleftarrow{S}</math> 划分为相互排斥的若干子集(所有的互斥子集形成全集),形成的集合记为 <math>\mathcal{R}</math>。
 +
 
 +
 
 +
计算力学将任意的子集 <math>R \in \mathcal{R}</math> 看作是一个宏观状态。对于一组宏观状态集合 <math>\mathcal{R}</math>,计算力学使用香农熵定义了指标 <math>C_\mu</math>,用来衡量这组状态的统计复杂性。其中:
      第43行: 第45行:  
</math>
 
</math>
   −
可以证明,当使用一组状态构建预测模型时,统计复杂性就近似等价于预测模型的大小。
      +
可以证明,当使用一组状态构建预测模型时,这组状态的统计复杂性就近似等价于预测模型的大小。
   −
此外,为了使宏观状态集在预测性和简约性之间取得最佳平衡,计算力学定义了[[因果等价]]的概念,如果<math>P\left ( \overrightarrow{s}|\overleftarrow{s}\right )=P\left ( \overrightarrow{s}|{\overleftarrow{s}}'\right )</math>,则<math>\overleftarrow{s}</math>和<math>{\overleftarrow{s}}'</math>是因果等价的,这种等价关系可以将所有的历史过程划分为等价类,并将它们定义为[[因果态]]。历史过程<math>\overleftarrow{s}</math>的所有因果态可以被一个映射<math>\epsilon \left ( \overleftarrow{s} \right )</math>刻画,这里<math>\epsilon: \overleftarrow{\mathcal{S}}\rightarrow 2^{\overleftarrow{\mathcal{S}}}</math>是一个将历史过程<math>\overleftarrow{s}</math>映射成因果态<math>\epsilon(\overleftarrow{s})\in 2^{\overleftarrow{\mathcal{S}}}</math>的函数。
      +
此外,为了使宏观状态集在预测性和简约性之间取得最佳平衡,计算力学定义了[[因果等价]]的概念,如果 <math>P\left ( \overrightarrow{s}|\overleftarrow{s}\right )=P\left ( \overrightarrow{s}|{\overleftarrow{s}}'\right )</math>,则 <math>\overleftarrow{s}</math> 和 <math>{\overleftarrow{s}}'</math> 是因果等价的,这种等价关系可以将所有的历史过程划分为等价类,并将它们定义为[[因果态]]。历史过程 <math>\overleftarrow{s}</math> 的所有因果态可以被一个映射 <math>\epsilon \left ( \overleftarrow{s} \right )</math> 刻画,这里 <math>\epsilon: \overleftarrow{\mathcal{S}}\rightarrow 2^{\overleftarrow{\mathcal{S}}}</math> 是一个将历史过程 <math>\overleftarrow{s}</math> 映射成因果态 <math>\epsilon(\overleftarrow{s})\in 2^{\overleftarrow{\mathcal{S}}}</math> 的函数。
   −
进一步,我们可以将两个[[因果态]]<math>S_i</math>和<math>S_j</math>之间的因果转移概率记为<math>T_{ij}^{\left ( s \right )}</math>,它类似于一个粗粒化后的宏观动力学。而一个随机过程的<math>\epsilon</math>-machine被定义为有序对<math>\left \{ \epsilon,T \right \}</math>,这是一种模式发现机器,可以通过学习<math>\epsilon</math>和<math>T</math>函数来实现预测。这相当于定义了所谓的涌现因果的识别问题,这里的<math>\epsilon</math>-machine就是一个尝试发现数据中的涌现因果的机器。
      +
进一步,我们可以将两个[[因果态]] <math>S_i</math> 和 <math>S_j</math> 之间的因果转移概率记为 <math>T_{ij}^{\left ( s \right )}</math>,它类似于一个粗粒化后的宏观动力学。而一个随机过程的 <math>\epsilon</math>-machine 被定义为有序对 <math>\left \{ \epsilon,T \right \}</math>,这是一种模式发现机器,可以通过学习 <math>\epsilon</math> 和 <math>T</math> 函数来实现预测。这相当于定义了所谓的涌现因果的识别问题,这里的 <math>\epsilon</math>-machine 就是一个尝试发现数据中的涌现因果的机器。
   −
计算力学可以证明,通过<math>\epsilon</math>-machine得到的因果态具有'''最大可预测性'''、'''最小统计复杂度'''以及'''最小随机性'''这三个重要特性,并验证了其在某种意义上是最优的。此外,作者引入了一种分层机器重构算法,可以从观测数据中计算因果态和<math>\epsilon</math>-machine。尽管该算法可能并不适用于所有场景,但作者以混沌动力学、隐马尔可夫模型和元胞自动机为例,给出了数值计算结果和相应的机器重构路径<ref name="The_calculi_of_emergence">{{cite journal|author1=Crutchfield, J.P|title=The calculi of emergence: computation, dynamics and induction|journal=Physica D: Nonlinear Phenomena|year=1994|volume=75|issue=1-3|page=11-54|url=https://www.sciencedirect.com/science/article/abs/pii/0167278994902739}}</ref>。
+
 
 +
计算力学可以证明,通过 <math>\epsilon</math>-machine 得到的因果态具有'''最大可预测性'''、'''最小统计复杂度'''以及'''最小随机性'''这三个重要特性,并验证了其在某种意义上是最优的。此外,作者引入了一种分层机器重构算法,可以从观测数据中计算因果态和 <math>\epsilon</math>-machine。尽管该算法可能并不适用于所有场景,但作者以混沌动力学、隐马尔可夫模型和元胞自动机为例,给出了数值计算结果和相应的机器重构路径 <ref name="The_calculi_of_emergence">{{cite journal|author1=Crutchfield, J.P|title=The calculi of emergence: computation, dynamics and induction|journal=Physica D: Nonlinear Phenomena|year=1994|volume=75|issue=1-3|page=11-54|url=https://www.sciencedirect.com/science/article/abs/pii/0167278994902739}}</ref>。
      第59行: 第62行:     
因果涌现框架与计算力学存在很多相似之处,所有历史过程<math>\overleftarrow{s}</math>可以看作是微观状态,所有<math>R \in \mathcal{R} </math>对应宏观状态,函数<math>\eta </math>可以理解为一种可能的粗粒化函数,因果态<math>\epsilon \left ( \overleftarrow{s} \right )</math>是一种特殊状态,它至少可以与微观状态<math>\overleftarrow{s}</math>具有相同的预测能力,因此,<math>\epsilon </math>可以理解为一种有效的[[粗粒化]]策略,因果转移<math>T </math> 对应于有效的宏观动力学。最小随机性特征表征了宏观动力学的确定性,在因果涌现中可以用[[有效信息]]衡量。
 
因果涌现框架与计算力学存在很多相似之处,所有历史过程<math>\overleftarrow{s}</math>可以看作是微观状态,所有<math>R \in \mathcal{R} </math>对应宏观状态,函数<math>\eta </math>可以理解为一种可能的粗粒化函数,因果态<math>\epsilon \left ( \overleftarrow{s} \right )</math>是一种特殊状态,它至少可以与微观状态<math>\overleftarrow{s}</math>具有相同的预测能力,因此,<math>\epsilon </math>可以理解为一种有效的[[粗粒化]]策略,因果转移<math>T </math> 对应于有效的宏观动力学。最小随机性特征表征了宏观动力学的确定性,在因果涌现中可以用[[有效信息]]衡量。
 +
    
====G-emergence====
 
====G-emergence====
G-emergence理论是Seth于2008年提出的,最早从因果的角度对[[涌现]]进行定量量化的研究之一<ref name=":4" />,基本思想是用非线性[[格兰杰因果关系|格兰杰因果]]来量化复杂系统中的[[弱涌现]]。
+
G-emergence 理论是 Seth 于 2008 年提出的,最早从因果的角度对[[涌现]]进行定量量化的研究之一<ref name=":4" />,基本思想是用非线性[[格兰杰因果关系|格兰杰因果]]来量化复杂系统中的[[弱涌现]]。
   −
具体来说,如果我们使用二元自回归模型进行预测,当只存在两个变量A和B时,[[自回归模型]]存在两个等式,每个等式对应其中一个变量,每个变量的当前时刻值都是由它自身和另外一个变量在滞后一定时间范围内的数值构成。另外,该模型还会计算残差,这里残差可以理解为预测误差,可以用来衡量每一个等式的格兰杰因果效应程度(称为G-causality)。B作为A的格兰杰因(G-cause)的程度通过两个残差方差之比的对数来计算,其中一个是在省略B时A的自回归模型的残差,另一个是全预测模型(包含了A和B)的残差。此外,作者还定义了G自主性(G-autonomous)的概念,表示一个时间序列的过去值可以预测自身的未来值的度量,可以用类似G-causality的方式来刻画这种自主预测的因果效应强度。
+
 
 +
具体来说,如果我们使用二元自回归模型进行预测,当只存在两个变量 A 和 B 时,[[自回归模型]]存在两个等式,每个等式对应其中一个变量,每个变量的当前时刻值都是由它自身和另外一个变量在滞后一定时间范围内的数值构成。另外,该模型还会计算残差,这里残差可以理解为预测误差,可以用来衡量每一个等式的格兰杰因果效应程度(称为 G-causality)。B 作为 A 的格兰杰因(G-cause)的程度通过两个残差方差之比的对数来计算,其中一个是在省略B时A的自回归模型的残差,另一个是全预测模型(包含了 A 和 B )的残差。此外,作者还定义了“G 自主性(G-autonomous)”的概念,表示一个时间序列的过去值可以预测自身的未来值的度量,可以用类似 G-causality 的方式来刻画这种自主预测的因果效应强度。
    
[[文件:G Emergence Theory.png|G-emergence理论图|alt=G-emergence理论图|居左|400x300像素]]
 
[[文件:G Emergence Theory.png|G-emergence理论图|alt=G-emergence理论图|居左|400x300像素]]
   −
如上图所示,我们可以基于上述G-causality中的两个基本概念来判断涌现的发生(这里是基于格兰杰因果的涌现的衡量,记作G-emergence)。如果把A理解为宏观变量,B理解为微观变量。发生涌现的条件包含两个:1)A是关于B的G-autonomous;2)B是A的G-cause。其中G-emergence的程度是通过A的G-autonomous的程度与B的平均G-cause的程度的乘积来计算的。
+
如上图所示,我们可以基于上述 G-causality 中的两个基本概念来判断涌现的发生(这里是基于格兰杰因果的涌现的衡量,记作 G-emergence)。如果把 A 理解为宏观变量,B 理解为微观变量。发生涌现的条件包含两个:1)A 是关于 B 的 G-autonomous;2)B 是 A 的 G-cause。其中 G-emergence 的程度是通过 A 的 G-autonomous 的程度与 B 的平均 G-cause 的程度的乘积来计算的。
   −
Seth提出的G-emergence理论首次尝试使用因果度量来量化涌现现象,然而,作者使用的因果关系是[[格兰杰因果关系|格兰杰因果]],这不是一个严格的因果关系,同时度量的结果也取决于所使用的回归方法。除此之外,该方法的度量指标是根据变量而不是动力学定义的,这意味着结果会依赖于变量的选择。这些都构成了G-emergence理论的弊端。
     −
因果涌现框架与前面提到的G-emergence也有相似之处,两个方法的宏观状态都需要人工选择。此外,需要注意的是,上述的一些定量量化涌现的方法往往没有考虑真正的干预式因果。
+
Seth 提出的 G-emergence 理论首次尝试使用因果度量来量化涌现现象,然而,作者使用的因果关系是[[格兰杰因果关系|格兰杰因果]],这不是一个严格的因果关系,同时度量的结果也取决于所使用的回归方法。除此之外,该方法的度量指标是根据变量而不是动力学定义的,这意味着结果会依赖于变量的选择。这些都构成了 G-emergence 理论的弊端。
 +
 
 +
 
 +
因果涌现框架与前面提到的 G-emergence 也有相似之处,两个方法的宏观状态都需要人工选择。此外,需要注意的是,上述的一些定量量化涌现的方法往往没有考虑真正的干预式因果。
 +
 
    
====其他定量刻画涌现的理论====
 
====其他定量刻画涌现的理论====
此外,也存在一些其他的涌现定量理论,主要有两种方法被广泛讨论。一种是从无序到有序的过程来理解[[涌现]],Moez Mnif和Christian Müller-Schloer<ref>Mnif, M.; Müller-Schloer, C. Quantitative emergence. In Organic Computing—A Paradigm Shift for Complex Systems; Springer: Basel, Switzerland, 2011; pp. 39–52. </ref>使用[[香农熵]]来度量有序和无序。在[[自组织]]过程中,当秩序增加时就会出现涌现,通过测量初始状态和最终状态之间的香农熵的差异来计算秩序的增加,然而该方法存在的缺陷是:它依赖于抽象的观察水平以及系统的初始条件.为了克服这两种困难,作者提出了一种与最大熵分布相比的度量方法。受Moez mif和Christian Müller-Schloer工作的启发,参考文献<ref>Fisch, D.; Jänicke, M.; Sick, B.; Müller-Schloer, C. Quantitative emergence–A refined approach based on divergence measures. In Proceedings of the 2010 Fourth IEEE International Conference on Self-Adaptive and Self-Organizing Systems, Budapest, Hungary, 27 September–1 October 2010; IEEE Computer Society: Washington, DC, USA, 2010; pp. 94–103. </ref>建议使用两个概率分布之间的散度来量化涌现。他们将涌现理解为在所观察到的样本基础上的一种意想不到的或不可预测的分布变化。但该方法存在计算量大、估计精度低等缺点。为了解决这些问题,文献<ref>Fisch, D.; Fisch, D.; Jänicke, M.; Kalkowski, E.; Sick, B. Techniques for knowledge acquisition in dynamically changing environments. ACM Trans. Auton. Adapt. Syst. (TAAS) 2012, 7, 1–25. [CrossRef] </ref>进一步提出了一种使用[[高斯混合模型]]估计密度的近似方法,并引入[[马氏距离]]来表征数据与高斯分量之间的差异,从而得到了更好的结果。此外,Holzer和de Meer<ref>Holzer, R.; De Meer, H.; Bettstetter, C. On autonomy and emergence in self-organizing systems. In International Workshop on Self-Organizing Systems, Proceedings of the Third International Workshop, IWSOS 2008, Vienna, Austria, 10–12 December 2008; Springer: Berlin/Heidelberg, Germany, 2008; pp. 157–169.</ref><ref>Holzer, R.; de Meer, H. Methods for approximations of quantitative measures in self-organizing systems. In Proceedings of the Self-Organizing Systems: 5th International Workshop, IWSOS 2011, Karlsruhe, Germany, 23–24 February 2011; Proceedings 5; Springer: Berlin/Heidelberg, Germany, 2011; pp. 1–15.</ref>等人提出了另一种基于Shannon熵的涌现测量方法。他们认为一个复杂的系统是一个自组织的过程,在这个过程中,不同的个体通过通信相互作用。然后,我们可以根据代理之间所有通信的香农熵度量与作为单独源的香农熵总和之间的比率来测量涌现。
+
此外,也存在一些其他的涌现定量理论,主要有两种方法被广泛讨论。一种是从无序到有序的过程来理解[[涌现]],Moez Mnif 和Christian Müller-Schloer<ref>Mnif, M.; Müller-Schloer, C. Quantitative emergence. In Organic Computing—A Paradigm Shift for Complex Systems; Springer: Basel, Switzerland, 2011; pp. 39–52. </ref>使用[[香农熵]]来度量有序和无序。在[[自组织]]过程中,当秩序增加时就会出现涌现,通过测量初始状态和最终状态之间的香农熵的差异来计算秩序的增加。然而,该方法存在的缺陷是:它依赖于抽象的观察水平以及系统的初始条件。为了克服这两种困难,作者提出了一种与最大熵分布相比的度量方法。受 Moez mif 和 Christian Müller-Schloer 工作的启发,参考文献<ref>Fisch, D.; Jänicke, M.; Sick, B.; Müller-Schloer, C. Quantitative emergence–A refined approach based on divergence measures. In Proceedings of the 2010 Fourth IEEE International Conference on Self-Adaptive and Self-Organizing Systems, Budapest, Hungary, 27 September–1 October 2010; IEEE Computer Society: Washington, DC, USA, 2010; pp. 94–103. </ref>建议使用两个概率分布之间的散度来量化涌现。他们将涌现理解为在所观察到的样本基础上的一种意想不到的或不可预测的分布变化。但该方法存在计算量大、估计精度低等缺点。为了解决这些问题,文献<ref>Fisch, D.; Fisch, D.; Jänicke, M.; Kalkowski, E.; Sick, B. Techniques for knowledge acquisition in dynamically changing environments. ACM Trans. Auton. Adapt. Syst. (TAAS) 2012, 7, 1–25. [CrossRef] </ref>进一步提出了一种使用[[高斯混合模型]]估计密度的近似方法,并引入[[马氏距离]]来表征数据与高斯分量之间的差异,从而得到了更好的结果。此外,Holzer 和 de Meer 等人<ref>Holzer, R.; De Meer, H.; Bettstetter, C. On autonomy and emergence in self-organizing systems. In International Workshop on Self-Organizing Systems, Proceedings of the Third International Workshop, IWSOS 2008, Vienna, Austria, 10–12 December 2008; Springer: Berlin/Heidelberg, Germany, 2008; pp. 157–169.</ref><ref>Holzer, R.; de Meer, H. Methods for approximations of quantitative measures in self-organizing systems. In Proceedings of the Self-Organizing Systems: 5th International Workshop, IWSOS 2011, Karlsruhe, Germany, 23–24 February 2011; Proceedings 5; Springer: Berlin/Heidelberg, Germany, 2011; pp. 1–15.</ref>提出了另一种基于香农熵的涌现测量方法。他们认为一个复杂的系统是一个自组织的过程,在这个过程中,不同的个体通过通信相互作用。然后,我们可以根据代理之间所有通信的香农熵度量与作为单独源的香农熵总和之间的比率来测量涌现。
 +
 
   −
另一种方法是从“整体大于部分之和”的角度来理解涌现的<ref>Teo, Y.M.; Luong, B.L.; Szabo, C. Formalization of emergence in multi-agent systems. In Proceedings of the 1st ACM SIGSIM Conference on Principles of Advanced Discrete Simulation, Montreal, QC, Canada, 19–22 May 2013; pp. 231–240. </ref><ref>Szabo, C.; Teo, Y.M. Formalization of weak emergence in multiagent systems. ACM Trans. Model. Comput. Simul. (TOMACS) 2015, 26, 1–25. [CrossRef] </ref>,该方法从交互规则和主体的状态来定义涌现,而不是从整个系统的总体来进行统计度量。具体地说,这个度量由两项相减组成。第一项描述了整个系统的集体状态,而第二项代表了所有组成部分的单个状态的总和,该度量强调涌现产生于系统的相互作用和集体行为。
+
另一种方法是从“整体大于部分之和”的角度来理解涌现的<ref>Teo, Y.M.; Luong, B.L.; Szabo, C. Formalization of emergence in multi-agent systems. In Proceedings of the 1st ACM SIGSIM Conference on Principles of Advanced Discrete Simulation, Montreal, QC, Canada, 19–22 May 2013; pp. 231–240. </ref><ref>Szabo, C.; Teo, Y.M. Formalization of weak emergence in multiagent systems. ACM Trans. Model. Comput. Simul. (TOMACS) 2015, 26, 1–25. [CrossRef] </ref>,该方法从交互规则和主体的状态来定义涌现,而不是从整个系统的总体来进行统计度量。具体地说,这个度量需要使两项相减。第一项描述了整个系统的集体状态,而第二项代表了所有组成部分的单个状态的总和。该度量强调涌现产生于系统的相互作用和集体行为。
    
===基于有效信息的因果涌现理论===
 
===基于有效信息的因果涌现理论===
150

个编辑