558
个编辑
更改
跳到导航
跳到搜索
第54行：
第54行： − + 第144行：
第144行： − + 第154行：
第154行： − + 第194行：
第194行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
这也是所有奇异值的平方和。可以看出矩阵的秩和[[弗罗贝尼乌斯范数]]都与奇异值相联系。
这也是所有奇异值的平方和。可以看出矩阵的秩和[[弗罗贝尼乌斯范数]]都与奇异值相联系。
==近似动力学可逆性==
==TPM矩阵的近似动力学可逆性与因果涌现==
由于绝大部分马尔科夫链的状态转移矩阵（TPM）都不是置换矩阵，所以我们需要一个指标来刻画一个TPM靠近可逆的置换矩阵程度的指标，这就是近似动力学可逆性。
由于绝大部分马尔科夫链的状态转移矩阵（TPM）都不是置换矩阵，所以我们需要一个指标来刻画一个TPM靠近可逆的置换矩阵程度的指标，这就是近似动力学可逆性。
假设马尔科夫链的TPM为P，奇异值为<math>
假设马尔科夫链的TPM为P，奇异值为<math>
</blockquote>
</blockquote>
==清晰因果涌现==
===清晰因果涌现===
对于具有TPM P的给定马尔可夫链<math>
对于具有TPM P的给定马尔可夫链<math>
\chi
\chi
</math>
</math>
</blockquote>
</blockquote>
==模糊因果涌现==
===模糊因果涌现===
对于具有TPM P的给定马尔可夫链<math>
对于具有TPM P的给定马尔可夫链<math>
\chi
\chi
</math>，只有当<math>\Delta\Gamma_{\alpha}(\epsilon)>0
</math>，只有当<math>\Delta\Gamma_{\alpha}(\epsilon)>0
</math>时，才会出现因果涌现。
</math>时，才会出现因果涌现。
==高斯噪声迭代系统的近似动力学可逆性与因果涌现==
TPM矩阵上基于SVD的因果涌现虽然能得到不依赖粗粒化策略的因果涌现，但是也存在一个弊端，就是只能量化离散条件概率空间的因果效应强度和因果涌现。由于离散概率空间和连续概率空间具有本质的不同，对于连续条件概率空间的基于SVD的因果涌现，我们需要单独进行分析，代表性的就是高斯噪声迭代系统的基于SVD的因果涌现<ref name=":15">Kaiwei Liu, Linli Pan, Zhipeng Wang, et al. SVD-based Causal Emergence for Gaussian Iterative Systems. arXiv:2502.08261, 2025.</ref>。
高斯噪声的随机迭代系统可以写成：
<blockquote>
<math>X_{𝑡+1} = a_0 + 𝐴⋅𝑋𝑡 +\xi_𝑡
</math>
</blockquote>
其中<math>𝑋_𝑡</math>是t时刻的状态向量, 维数为<math>n</math>，<math>\xi\sim\mathcal{N}(0,\Sigma)</math>，<math>\Sigma\in\mathcal{R}^{n\times n}</math>是协方差矩阵。这是一种最简单的连续状态空间的马尔科夫动力学，因此，我们要将SVD方法扩展到这类系统上。我们的思路是，首先利用泛函分析的思想，找到概率转移矩阵的对应物；其次，利用傅里叶变换求出奇异值的表达式，最终写出近似动力学可逆性<math>\Gamma_\alpha</math>的表达式。
首先，TPM矩阵本质上是离散条件概率构<math>p(x_{t+1}|x_t)</math>成的矩阵，因此从条件概率的角度类比到连续系统，高斯迭代系统的概率转移矩阵为：
<blockquote>
<math> p(x_{t+1}|x_t)=\mathcal{N}(Ax_{t}+a_0,\Sigma)\equiv \frac{1}{(2\pi)^\frac{n}{2}\det(\Sigma)^\frac{1}{2}}\exp\left\{-\frac{1}{2}(x_{t+1}-Ax_t-a_0)^T\Sigma^{-1}(x_{t+1}-Ax_t-a_0)\right\},
</math>
</blockquote>
在离散情况下，由于<math>𝑃</math>的奇异值的平方为矩阵<math>𝑃⋅𝑃^𝑇</math>的特征值，故计算连续情况下的<math>𝑃⋅𝑃^𝑇</math>对应：
<blockquote>
<math> K(\textbf{x},\textbf{y})=\int_{-\infty}^\infty p(\textbf{z}|\textbf{x})p(\textbf{z}|\textbf{y})d\textbf{z}=(2\pi)^{-\frac{n}{2}}\det(2\Sigma)^{-\frac{1}{2}}\exp\left\{-\frac{1}{4}(\textbf{x}-\textbf{y})^T(A^T\Sigma^{-1}A)(\textbf{x}-\textbf{y})\right\}\equiv\mathcal{K}(\textbf{x}-\textbf{y}).
</math>
</blockquote>
因此，<math>𝑝(𝑦|𝑥)</math>的奇异值平方就是算子<math>\textbf{Κ}</math>的特征值。假设<math>\textbf{Κ}</math>的特征值为<math>\zeta^2</math>，特征函数为：<math>\psi(𝑧)</math>，
则根据特征值和特征函数的定义有：
<blockquote>
<math> (\textbf{K}\psi)(\textbf{x})=\int_{-\infty}^\infty K(\textbf{x},\textbf{y})\psi(\textbf{y})d\textbf{y}=\zeta^2 \psi(\textbf{x}).
</math>
</blockquote>
基于其特殊结构，可对其进行傅里叶变换：
<blockquote>
<math> \hat{\mathcal{K}}(\omega)\hat{\psi}(\omega)=\mathcal{F}\left\{\mathcal{K}(\mathbf{y})\right\}\mathcal{F}\left\{\psi(\mathbf{y})\right\}=\zeta^2\hat{\psi}(\omega).
</math>
</blockquote>
所以最终我们可以在新的频率空间中，找到一种类似于奇异值谱的函数，我们称为高斯分布的奇异函数：
<blockquote>
<math> \zeta^\alpha(\omega)=\{{\rm det}(\Sigma)^{\frac{1}{2}}{\rm pdet}(A^T\Sigma^{-1} A)^{\frac{1}{2}}\}^{-\frac{\alpha}{2}}\exp\left\{-\frac{\alpha}{2}\left(\omega^T(A^T\Sigma^{-1}A)^{\dagger}\omega\right)\right\}
</math>
</blockquote>
这里，<math>{\rm pdet}</math>代表伪行列式，<math>†</math>代表Moore-Penrose伪逆运算。由此，我们可以计算其近似动
力学可逆性指标<math>Γ_𝛼</math>：
<blockquote>
<math> \Gamma_\alpha=\left(\frac{2\pi}{\alpha}\right)^\frac{n}{2}{\rm pdet}(A^T\Sigma^{-1}A)^{\frac{1}{2}-\frac{\alpha}{4}}{\rm det}(\Sigma^{-1})^\frac{\alpha}{4}
</math>
</blockquote>
可见逆向动力学的协方差矩阵<math>𝐴𝑇Σ^{−1}𝐴</math>和正向动力学的协方差矩阵<math>Σ^{−1}</math>共同影响了近似可逆性的大小，可以理解为，必须两个协方差都很小，非满秩或病态的维度影响较小的时候，系统动力学才有更强的可逆性。
===维度平均===
进一步，可以可逆性指标取对数并去掉常数项，得到维度平均的指标
<blockquote>
<math> \hat\gamma_\alpha=\gamma_\alpha-\frac{1}{2}\ln\left(\frac{2\pi}{\alpha}\right)=\frac{1}{n}\ln\Gamma_\alpha-\frac{1}{2}\ln\left(\frac{2\pi}{\alpha}\right)=\frac{1}{n}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r}\ln s_i+\frac{\alpha}{4n}\sum_{i=1}^{n}\ln\kappa_i
</math>
</blockquote>
这里，<math>𝑠_𝑖</math>为矩阵<math>𝐴𝑇Σ^{−1}𝐴</math>的第<math>i</math>个奇异值，<math>𝜅_𝑖</math>为矩阵<math>Σ^{−1}</math>的第i个奇异值。因此，我们只需要分析这两个奇异值构成的联合谱，即可定量刻画系统的因果涌现特性了。也就是说，我们把原转移概率矩阵的奇异值分解转变为了对<math>𝐴𝑇Σ^{−1}𝐴</math>和<math>Σ^{−1}</math>这两个矩阵的奇异值分解问题。其中，<math>Σ^{−1}</math>为正向动力学，即<math>p(x_{t+1}|x_t)=\mathcal{N}(0,\Sigma)</math>的协方差矩阵之逆，而<math>𝐴𝑇Σ^{−1}𝐴</math>则是<math>p(x_{t+1}|x_t)</math>的逆向动力学的协方差矩阵。
===确定性和简并性===
通过调整参数<math>
\alpha\in(0,2]
</math>，可以使更好地反映P的确定性或者简并性。当<math>
\alpha\to0,\Gamma_{\alpha}
</math>收敛到
<blockquote>
<math> \Gamma_{\alpha\to 0}\to\left(\frac{2\pi}{\alpha}\right)_{\alpha\to 0}^\frac{n}{2}{\rm pdet}(A^T\Sigma^{-1}A)^{\frac{1}{2}},
</math>
</blockquote>
此时<math>\Gamma_{\alpha\to 0}</math>只由逆向动力学的协方差矩阵或信息熵决定，而逆向动力学的熵直接影响系统的简并性。然而，定义不允许<math>
\alpha
</math>精确为零，这样会导致指标趋于无穷。
同样，当<math>
\alpha=2
</math>时，<math>
\Gamma_{\alpha}
</math>收敛到
<blockquote>
<math> \Gamma_2=\left(\pi\right)^\frac{n}{2}{\rm det}(\Sigma^{-1})^\frac{1}{2},
</math>
</blockquote>
协方差矩阵的逆越大，意味着动力学变得更加可逆。在实践中总是取<math>
\alpha=1
</math>来平衡<math>
\Gamma
</math>测量确定性和简并性的倾向。
===高斯噪声迭代系统基于SVD的因果涌现===
同样，在规定<math>\epsilon\geq 0</math>之后，我们可以筛选两个协方差矩阵的奇异值来计算因果涌现，即
<blockquote>
<math>\Delta\Gamma_\alpha(\epsilon)\equiv\hat{\gamma}_\alpha(\epsilon)-\hat\gamma_\alpha=\frac{1}{r_\epsilon}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r_\epsilon}\ln s_i+\frac{\alpha}{4r_\epsilon}\sum_{i=1}^{r_\epsilon}\ln\kappa_i-\frac{1}{n}(\frac{1}{2}-\frac{\alpha}{4})\sum_{i=1}^{r}\ln s_i-\frac{\alpha}{4n}\sum_{i=1}^{n}\ln\kappa_i.
</math>
</blockquote>
其中<math>r_\epsilon\equiv\min\{r_\epsilon(A^T\Sigma^{-1} A),r_\epsilon(\Sigma^{-1})\}</math>取得是两个矩阵有效秩的最小值。<math>\epsilon= 0</math>就是清晰因果涌现，<math>\epsilon> 0</math>就是模糊因果涌现。
根据连续系统基于有效信息的的因果涌现
<blockquote>
<math>\Delta\mathcal{J}^{*}=\frac{1}{2k}\sum_{i=1}^{k}\ln s_i-\frac{1}{2n}\sum_{i=1}^{n}\ln s_i,
</math>
</blockquote>
我们可以近似得到线性相关关系
<blockquote>
<math>\Delta\Gamma_\alpha(\epsilon)\simeq(1-\frac{\alpha}{4})\Delta\mathcal{J}^*.
</math>
</blockquote>
更精确的证明<math>\Gamma_\alpha</math>与<math>EI</math>可以相互替代。
=与有效信息（EI）的比较=
=与有效信息（EI）的比较=