3,094
个编辑
更改
跳到导航
跳到搜索
第275行：
第275行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第400行：
第520行： −
→离散TPM基于SVD（动力学可逆性）的因果涌现
\Gamma
\Gamma
</math>测量确定性和简并性的综合影响。
</math>测量确定性和简并性的综合影响。
=基于有效信息（EI）与基于可逆性的两种因果涌现的对比=
==TPM矩阵==
TPM矩阵基于有效信息（EI）与基于可逆性的两种因果涌现可以通过直接对近似可逆性和有效信息进行数值模拟和可视化得到近似的关系。
'''定理3：'''对于任意 TPM P 和 <math>
\alpha\in(0,2)
</math>，<math>
\Gamma_{\alpha}
</math>的对数和EI都有相同的最小值0和一个共同的极小值点（当<math>
P=\frac{1}{N} \mathbb{1}_{N\times{N}}
</math>时取到），其中<math>\mathbb{1}</math>是全1矩阵。它们还有相同的最大值<math>\log{N}</math>，最大值点对应于P是一个置换矩阵。
因此当P是可逆的（置换矩阵）时，<math>
\log{\Gamma_{\alpha}}
</math>和EI可以达到最大值<math>
\log{N}
</math>。当<math>
P_{i}=\frac{\mathbb{1}}{N},\forall{i}\in[1,N]
</math>，它们也可以达到最小值0。然而，我们可以证明<math>
\frac{\mathbb{1}}{N}
</math>并不是EI的唯一最小点，对于任何满足<math>P_{i}=P_{j},\forall{i}\in{[1,N]}</math>的TPM都能使EI=0。其次EI的上限和下限都是<math>\log{\Gamma_{\alpha}}</math>的线性项。
'''定理4：'''对于任何TPM P，其有效信息EI的上限为<math>\frac{2}{\alpha}\log{\Gamma_{\alpha}}</math>，下限为<math>
\log{\Gamma_{\alpha}}-\log{N}</math>.
因此，有如下不等式：
<blockquote>
<math>
\begin{aligned}
\log{\Gamma_{\alpha}}-\log{N}\le{EI}\le\frac{2}{\alpha}\log{\Gamma_{\alpha}}
\end{aligned}
</math></blockquote>
实际上，EI有一个更严格的上限，<math>EI\le\log{\Gamma_{\alpha}}</math>，这个不等式虽然已经在多个系统中观察到，但目前尚不能从理论上证明它的成立。
我们发现在许多例子中，EI和<math>\log\Gamma_{\alpha}</math>具有近似线性关系，因此，基于可逆性的因果涌现理论主张：
<blockquote>
<math>\begin{aligned}
EI\sim\log\Gamma_{\alpha}.
\end{aligned}
</math>
</blockquote>
在离散状态空间情况下，该近似关系虽然不能从理论上证明，但却可以通过多个数值例子加以证明。
===与EI的相似性 ===
根据前文，EI的上界和下界分别是<math>\log{\Gamma_{\alpha}}</math>的线性项。由此还可以推测两者具有近似关系：<math>EI\sim\log{\Gamma_{\alpha}}</math>。下面通过数值模拟说明这一点。
[[文件:20240101.png|替代=|1029x1029像素]]
如上图所示，在由三种不同方法生成的各种归一化的TPM 上比较了<math>\log{\Gamma_{\alpha}}</math>和 EI的关系，这三种关系包括：1）软化置换矩阵（图a）；2）软化退化矩阵（图b）；3）完全随机矩阵（图c）。
图(a)、(b)和(c)表明，在这些例子中都观察到了正相关性，并且在N ≫ 1 时，<math>EI\sim\log{\Gamma_{\alpha}}.</math>的近似关系得到了证实。在(a) 和 (b) 中可以明显观察到这种关系，但在(b) 中，由于覆盖了有限的<math>\Gamma</math>值区域，这种关系退化为近似线性关系。
图(a)和(b)中用红色虚线表示了 EI 的上下限。不过，在图(c）中，由于所有点都集中在一个小区域内，因此看不到理论边界线。根据经验，图中灰色断线所示的<math>\log{\Gamma_{\alpha}}</math>的上限更为严格。因此可以推测 <math>EI\le\log{\Gamma_{\alpha}}</math>这一新关系是成立的，但其严密性有待证明。
以下是这三种生成TPM方式的具体生成步骤：
'''软化置换矩阵：'''
1）随机生成一个N阶置换矩阵P；
2）对于P中的每个行向量<math>P_{i}</math>，假设1元素的位置是<math>j_{i}</math>，我们将<math>P_{i}</math>的所有条目填入位于<math>j_{i}</math>处的高斯分布中心的概率，即<math>P'_{i,j} = \frac{1}{\sqrt{2\pi}\sigma} \exp\left( -\frac{(j - j_i)^2}{\sigma^2} \right)</math>，其中，<math>\sigma</math>是软化程度的自由参数，如果<math>\sigma\rightarrow\infty</math>则<math>P_{i}</math>变为了一个全部由1/N构成的向量，如果<math>\sigma\rightarrow 0</math>则<math>P_{i}</math>退化为独热向量；
3) 将<math>\sum_{j=1}^{N} P'_{ij} = 1</math>除以新的行向量，使其归一化，这样修改后的矩阵<math>P'</math>也是一个转移概率矩阵。
'''软化退化矩阵：'''
生成方式与软化置换矩阵非常相似，但原始矩阵P不是置换矩阵，而是退化矩阵。退化意味着有一些行向量是相同的，相同行向量的数量用N - r表示，它是受控变量，其中r是P的秩。通过调整N-r，我们可以控制TPM的退化程度。
'''完全随机矩阵：'''
'''1)''' 从[0, 1]上的均匀分布中抽取一个行随机向量；
'''2)''' 对该行向量进行归一化处理，使生成的矩阵是一个TPM。
进一步，文献<ref name=":22"/>还在大小为N=2 的最简单参数化TPM中得到了EI和<math>\Gamma</math>的解析解，并展示了EI和<math>\Gamma</math>与参数p和q的关系。其中p和q用于生成最简单的<math>2 \times 2</math>马尔科夫矩阵<math>P=\begin{pmatrix}p& 1-p\\1-q & q\end{pmatrix}</math>，下图(a)表示<math>\Gamma</math>随p和q的变化，图(b)表示EI随p和q 的变化。(a)和(b)之间的差异显而易见：1）当<math>p\approx 1-q</math>时，<math>\Gamma</math>有一个最小值的峰，但EI没有；2）观察到EI ≈ 0时的区域更宽，而<math>\Gamma\approx 1</math>时的区域要小得多；3）观察到<math>\Gamma</math>有一个从0到最大值N=2的渐进过渡，但EI没有。
因此，我们得出结论，EI和<math>\Gamma</math>在各种TPM上高度相关。
[[文件:202401012.png|替代=|603x603像素]]
===与EI的不同===
首先，EI 通过KL散度来量化每个行向量与P的平均行向量之间的差异，衡量的是行向量之间的相似性。相反，<math>\Gamma_{\alpha}</math>评估的是动力学可逆性，特别是当<math>\alpha</math>接近 0 时，这与行向量之间的线性相互依赖性相关。虽然行向量的线性相互依赖性表明它们的相似性——这意味着两个相同的行向量是线性相关的，但反之则不一定成立。因此，<math>\Gamma_{\alpha}</math>不仅捕获了行向量之间的相似性，而且还捕获了P与动力学可逆矩阵的接近度。相比之下，EI无法完成这个任务。
可以通过以下数值实验来验证这一点：可以通过将线性相关行向量与线性独立行向量混合来创建TPM，其中独立向量的数量或等级是受控参数。首先，生成r个独立的独热向量，然后软化这些行向量，软化程度由<math>\sigma</math>控制。随后，通过将这些软化的独热向量与随机选择的线性系数线性组合来创建额外的行向量。然后量化<math>\Gamma</math>和 EI 之间的差异，结果如下图所示。
[[文件:20202021.png|替代=|480x480像素]]
很明显，对于较小的r值，随着<math>\sigma</math>的增加，<math>\log{\Gamma}</math>和 EI 之间的差异会减小，因为 P 的线性依赖性随着向量变得更加明显而增强。这强调了线性相关性并不等于行向量之间的相似性。然而，随着独立行向量数量的增加，如果<math>\sigma</math>保持很小，P会收敛到置换矩阵。因此，EI 和<math>\log{\Gamma}</math>都达到了相同的最大值。这解释了为什么当r很大时，差异曲线会出现轻微的颠簸。
其次，即使在所有行向量相同的情况下，EI 和<math>\Gamma_{\alpha}</math>之间也存在显着区别，导致 EI= 0 而<math>\Gamma_{\alpha}= ||\overline{P}||^{\alpha}\cdot N^{\alpha /2}</math>，而这是一个可以随<math>||\overline{P}||</math>变化的量。这种差异意味着，与 EI 不同，<math>
\Gamma_{\alpha}</math>可以提供有关行向量的更全面的见解，超越其与平均行向量的相似性。
==高斯噪声迭代系统==
和TPM有所不同，高斯噪声迭代系统下，动力学近似可逆性和维度平均有效信息的关系，可以直接求出近似的解析解，这是因为它们都可以用动力学参数矩阵<math>A</math>和协方差矩阵<math>\Sigma</math>的线性函数表示。这主要是由于此时概率空间是连续空间，无论删减多少个连续的区间，只要没有离散化，状态数量都是无穷，因此我们要从状态空间的研究转化为对欧氏空间的研究，因为欧氏空间有面积、体积的概念，对维度的约减会导致高维立方体的体积减小，使动力学的[[因果效应强度]]发生改变。
===有效信息与近似可逆性===
当逆向动力学<math>p(x_t|x_{t+1})=\mathcal{N}(A^\dagger x_{t+1}-A^\dagger a_0,A^\dagger\Sigma(A^\dagger)^T)</math>接近一个标准化的正态分布<math>A^\dagger\Sigma(A^\dagger)^T\approx I_n</math>的时候, <math>\Gamma_\alpha</math>和维度平均的有效信息满足关系为：
<blockquote>
<math>
\ln\Gamma_\alpha\simeq n(1-\frac{\alpha}{4})\mathcal{J}+C.
</math>
</blockquote>
其中<math>\ln\Gamma_\alpha</math>是对近似可逆性取对数后得到的可逆信息，<math>C=\frac{n}{2}\ln\left(\frac{2\pi}{\alpha}\right) -n(1-\frac{\alpha}{4})\ln(\frac{L}{\sqrt{2\pi e}})</math>是与<math>A</math>和<math>\Sigma</math>无关的常数项。当<math>p(x_t|x_{t+1})=\mathcal{N}(A^\dagger x_{t+1}-A^\dagger a_0,A^\dagger\Sigma(A^\dagger)^T)</math>是一个标准化的正态分布, 且<math>A\in\mathcal{R}^{m\times n}</math>是可逆矩阵的时候，等号成立。
===基于有效信息与近似可逆性的因果涌现===
最优化后的基于维度平均有效信息的因果涌现和基于SVD的因果涌现，则可以消除维度和常数项的干扰，得到基于SVD的因果涌现和基于EI的因果涌现的近似线性关系为：
<blockquote>
<math>
\Delta\Gamma_\alpha(\epsilon)\simeq(1-\frac{\alpha}{4})\Delta\mathcal{J}^*.
</math>
</blockquote>
至此，从高斯迭代系统，我们可以更清晰的看出可逆性和有效信息的线性相关性，证明两者在一定程度上可以相互验证或替换。
=离散TPM基于SVD（动力学可逆性）的因果涌现=
=离散TPM基于SVD（动力学可逆性）的因果涌现=
[[文件:截屏2024-08-30_10.05.1111.png|替代=|935x935像素]]
[[文件:截屏2024-08-30_10.05.1111.png|替代=|935x935像素]]
=高斯噪声迭代系统基于SVD的因果涌现=
=高斯噪声迭代系统基于SVD的因果涌现=