基于可逆性的因果涌现理论

基于可逆性的因果涌现理论是一种量化因果涌现强度的新框架，该方法基于奇异值分解和近似动力学可逆性的概念，与基于有效信息(EI)的因果涌现理论不同。kk

理论

下面将定义马尔科夫链上的动力学可逆性，并提出了一个量化指标：近似动力学可逆性。来衡量任意马尔可夫链对动力学可逆性的接近程度。

什么是动力学可逆性

对于给定的马尔可夫链[math]\displaystyle{ \chi }[/math]和对应的转移概率矩阵(TPM) P ，如果P同时满足：1. P是可逆矩阵，即存在矩阵[math]\displaystyle{ P^{-1} }[/math]，使得[math]\displaystyle{ PP^{-1}=I }[/math]； 2. [math]\displaystyle{ P^{-1} }[/math]也是另一个马尔可夫链[math]\displaystyle{ \chi^{-1} }[/math]的有效TPM，则[math]\displaystyle{ \chi }[/math]和P 可以称为动力学可逆的。

定理1：对于一个给定的马尔科夫链[math]\displaystyle{ \chi }[/math]和对应的TPM P，当且仅当P是置换矩阵的时候，P是严格动力学可逆的。

纯粹的置换矩阵在所有可能的TPM中非常稀少，所以大多数的TPM并不是严格动力学可逆的。因此，需要一个指标来刻画任意一个TPM接近动力学可逆的程度。

考虑P的秩r，当且仅当r<N的时候，P是不可逆的；且P越退化对应着越小的r。然而，非退化（满秩）的矩阵P并不总是动力学可逆的，因为：1. 尽管[math]\displaystyle{ P^{-1} }[/math]存在，但[math]\displaystyle{ P^{-1} }[/math]并不一定是满足归一化条件（P的第i行向量[math]\displaystyle{ P_{i} }[/math]的第一范数应该为1）的合法TPM。2. 如前所述，若P满足动力学可逆性，则P必为置换矩阵。

一个重要的观察是：所有置换矩阵的行向量都是one-hot向量（即只有一个元素是1，其余元素均为零）。这一特性可以被矩阵P的弗罗贝尼乌斯范数（Frobenius norm）刻画。事实上，当且仅当P的行向量是one-hot向量的时候，矩阵P的弗罗贝尼乌斯范数取最大值。因此，我们可以借由矩阵P的秩r和矩阵的弗罗贝尼乌斯范数共同定义P的近似动力学可逆性。

首先，矩阵的秩可以被写作：

[math]\displaystyle{ r=\sum_{i=1}^{N}\sigma_{i}^{0} }[/math]

其中[math]\displaystyle{ \sigma_{i} }[/math]是矩阵P的第i个奇异值。

紧接着，矩阵的弗罗贝尼乌斯范数可以被写作：

[math]\displaystyle{ {||P||}_{F}^{2}=\sum_{i=1}^{N}\sigma_{i}^{2} }[/math]

这也是所有奇异值的平方和。可以看出矩阵的秩和弗罗贝尼乌斯范数都与奇异值相联系。

近似动力学可逆性

下面定义矩阵P的近似动力学可逆性：

假设马尔科夫链的概率转移矩阵为P，奇异值为[math]\displaystyle{ (\sigma_{1}\ge\sigma_{2}\ge...\ge\sigma_{N}\ge0) }[/math]，那么矩阵P的[math]\displaystyle{ \alpha }[/math]阶近似动力学可逆性定义为：

[math]\displaystyle{ \Gamma_{\alpha}=\sum_{i=1}^{N}\sigma_{i}^{\alpha} }[/math]

其中[math]\displaystyle{ \alpha\in(0,2) }[/math]是参数。

实际上，当[math]\displaystyle{ \alpha\ge1 }[/math]时，[math]\displaystyle{ \Gamma_{\alpha} }[/math]是P的沙滕范数（Schatten norm）；当[math]\displaystyle{ 0\lt \alpha\lt 1 }[/math]时，[math]\displaystyle{ \Gamma_{\alpha} }[/math]是P的准范数（quasinorm）。

使用这个定义来刻画近似动力学可逆性是合理的，因为完全动力学可逆性可以通过最大化[math]\displaystyle{ \Gamma_{\alpha} }[/math]来得到。

定理2：对于任意[math]\displaystyle{ \alpha\in(0,2) }[/math]，[math]\displaystyle{ \Gamma_{\alpha} }[/math]的最大值是N，当且仅当P是置换矩阵的时候能取到该最大值.

证明见附录A.2.2 更进一步来说，可以证明，[math]\displaystyle{ \Gamma_{\alpha} }[/math]的下界可以由[math]\displaystyle{ {||P||}_{F}^{\alpha} }[/math]确定。

决定性和简并性

通过调整参数[math]\displaystyle{ \alpha\in(0,2) }[/math]，我们可以使更好地反映P的确定性或者简并性。当[math]\displaystyle{ \Gamma_{\alpha}\to0,\Gamma_{\alpha} }[/math]收敛到P的秩，这类似于EI定义中的非简并项，因为随着P越来越退化，r越来越小。然而，定义不允许[math]\displaystyle{ \alpha }[/math]精确为零，因为rank(P)不是P的连续函数，而且最大化秩不会导致置换矩阵。 同样，当[math]\displaystyle{ \Gamma_{\alpha}\to2 }[/math]时，[math]\displaystyle{ \Gamma_{\alpha} }[/math]收敛到[math]\displaystyle{ {||P||}_{F}^{2} }[/math]，但是定义不允许[math]\displaystyle{ \alpha }[/math]取2，因为[math]\displaystyle{ \Gamma_{\alpha=2} }[/math]的最大化并不意味着P是可逆的。[math]\displaystyle{ {||P||}_{F} }[/math]与EI定义中的确定性项具有可比性，因为当P具有越来越多的one-hot向量，P的中的最大转移概率也会变得更大，意味着动力学变得更加可逆。 在实践中，我们总是取alpha=1 来平衡gama测量确定性和简并性的倾向，gama被称为核规范。 考虑到alpha=1的重要性，我们将主要展示alpha=1 的结果，在下文中，我们将gama1基座gama。

归一化及例子

gamaa受矩阵的大小影响，所以我们需要进行归一化，从而刻画与大小无关的近似动力学可逆性，这样可以更方便地在不同大小的马尔科夫链 之间进行比较。 容易证明，gamaa总是小于1。