计算力学
计算力学（Computational Mechanics）是一套数学框架，试图从历史序列中寻找、总结规律，并预测未来这一“智能活动”背后的一般规律。计算力学从信息论出发，定义出模式，因果态，各态之间的转换等重要概念，并将智能抽象为所谓的ϵ-机器。有学者从理论上证明，ϵ-机器可以展现出极大的预测能力和极小的复杂性。
历史渊源
圣塔菲研究所的詹姆斯.P.克拉奇菲尔德（James P. Crutchfield）在1989年 - 2001年期间，以香农信息论，和其他跨学科理论为基础，发布了一系统文献，提出了计算力学的概念。其中包括：
- 1989 《Inferring Statistical Complexity》[1]
- 1994 《The Calculi of Emergence: Computation, Dynamics, and Induction》[2]
- 1997 《Computational Mechanics of Cellular Automata: An Example》[3]
- 2001 《Computational Mechanics: Pattern and Prediction, Structure and Simplicity》[4]
这些文献使用了信息论当中各式熵的定义，包括信息熵、联合熵、条件熵和互信息熵。各个熵之间存在一定的计算关系，其中条件熵即为联合熵减去作为条件变量的熵。另外还引用了熵率的概率，熵率是指字符串长度逐渐趋于∞时，字符串的平均信息熵的极限值。在此基础上，计算力学大量使用了信息论的基本公式做了一些证明，还做了一定的扩展。在2001年的一篇文献中，证明过程相对完整。
北京集智科学研究中心的张江老师2022年借助《因果涌现读书会》的机会，和读书会成员共同解读了克拉奇菲尔德的计算力学领域相关论文。针对复杂度的度量进行了深入分析，整理了层次机器重构算法，并结合复杂科学的相关领域展开了讨论。
问题背景
人工智能时代
众所周知，自然界中广泛存在各种物质及其运动，物质本身和运动轨迹，都呈现出一定程度的模式和斑图。在十七世纪，牛顿力学是关于物质、力与运动的基本原理；而人工智能时代，科学爱好者们需要理解信息、计算与预测背后的基本原理。**计算力学**这门结合了复杂网络、信息论的理论框架，有助于解决抽象提取各类现象背后的基本原理的问题。
复杂科学发展
统计复杂度
定义及符号[math]\displaystyle{ C_{μ} }[/math]
μ依赖于测度和分布
统计复杂度可用于线性系统的复杂性量化，也可用于非线性动态系统中复杂系统因果涌现复杂性的量化。香农熵基于概率分布，但对于确定性混沌却有些不足，统计复杂度则能量化宏观态上出现的确定性混沌。
统计复杂度（statistical complexity）是复杂系统深度的量化方式之一，用[math]\displaystyle{ C_{\mu} }[/math]符号来表示。其中μ依赖于测度和分布。跟统计力学中的量化理论有关，基于测度系统的定义。在部分混沌物理学的文献中，也被记作α。
在1989年《Inferring Statistical Complexity》[1]这篇文献里，复杂度的阶次符号为α，在2001年《Computational Mechanics: Pattern and Prediction, Structure and Simplicity》[4]中的符号为μ，这里我们统一使用μ。
μ-阶图复杂度
μ-阶图复杂度即为μ-阶图的概率算术复杂度，[math]\displaystyle{ C_{μ=0}=\log \lvert \mathbf{V} \rvert }[/math]。其中[math]\displaystyle{ \mathbf{V} }[/math]为μ-阶图的顶点集合。
在集智俱乐部的《因果涌现读书会》因果几何上，会做更详细的介绍，有编程经验的可以认为是有限状态机。
0-阶图复杂度([math]\displaystyle{ C_{μ=0} }[/math])和蔡汀-柯尔莫哥洛夫复杂度不同，0-阶图复杂度带有概率分布且依赖带有随机整数寄存器的图灵机。
μ-阶图复杂度（[math]\displaystyle{ C_{μ} }[/math]）是区别于信息论的量化复杂度的方法，后者基于维度[math]\displaystyle{ d_μ }[/math]和熵[math]\displaystyle{ h_μ }[/math]。
柯式复杂度
拓扑复杂度
当μ-阶图复杂度的μ为零时，μ-阶图复杂度也称为拓扑复杂度。由ϵ-机器的物征值给出。
统计复杂度
μ-阶图复杂度的μ = 1时，复杂度的量化方式为统计复杂度，带有热力学的“高温限制”。这里的统计复杂度也是1-阶图复杂度，即为香农熵。由ϵ-机器的物征向量给出。 统计复杂度（statistical complexity）是复杂系统深度的量化方式之一，用[math]\displaystyle{ C_{\mu} }[/math]符号来表示。这里的对应于因果涌现量化（有效信息EI），统计复杂度[math]\displaystyle{ C_{\mu} }[/math]越小，有效信息EI越大。
统计复杂度的下界，从周期行为和频段耦合中得出，是带二阶项的相位转换。
因果态的统计复杂度
[math]\displaystyle{ C_μ(\mathbfcal{S}) \equiv H[\mathcal{R}] }[/math]
此公式可用于因果涌现量化（有效信息EI），统计复杂度[math]\displaystyle{ C_{\mu} }[/math]越小，有效信息EI越大。
其中μ跟统计力学中的量化理论有关，基于测度系统的定义。在部分混沌物理学的文献中，也被记作α。
过程的统计复杂度
过程的统计复杂度（Statistical Complexity of a Process）
[math]\displaystyle{ C_μ(\mathcal{O}) \equiv C_{\mu}[\mathbfcal{S}] }[/math]
更多复杂度度量方法
描述复杂度
计算机科学里有提到最小描述长度，
计算复杂度
学过编程的，书上都有教计算复杂度，符号一般用O(n)。可以简单地表示为此算法调用的基本计算单元的次数。如果一个程序对基本计算单元的调用次数不可控，有可能该程序的计算复杂度是指数型的，记为O(nx)，其中x为指数项。软件工程师结合一些计算机和数学方法，通常能将计算复杂度降为O(log(n))型。使用计算机器生成相应序列的复杂程度，计算力学和因果涌现对应的物理过程考虑二类机器：一类是图灵机，一类是ϵ-机器。ϵ-机器带有扰动，在NIS+框架中，扰动由用作编码器的可逆神经网络的丢弃维度和用作解码器的可逆神经网络引入的维度所构成。
因果态
定义
性质
生成算法
- 将微观态历史序列转换成字符串序列，允许使用二进制或数字加字母；
- 使用随机变量转确定过程算法将字符串序列映射到无限微观状态空间。[math]\displaystyle{ \sigma(\omega_1\omega_2\omega_3\dots) \mapsto \omega_2\omega_3\omega_4\dots }[/math]；
- 引入编号机制，将字符串序列进行排序；
- 确定起始时刻t，
厄普西隆机器
厄普西隆机器（ϵ-machine） 此机器可以有效捕获模式，形式为有序对[math]\displaystyle{ \left \{ \epsilon, \mathbf{T} \right \} }[/math]。可以是信息源的生成机器，也可以是信息目的地重构出的机器。
ϵ-机器和图灵机不同，简单的图灵机是一种完全抽象的计算模型，它被实例化为冯·诺依曼架构，是现代计算机的理论模型。ϵ-机器可以通过和环境的互动，不断理解环境，更新自己的内秉属性，引入固定和随机变量而重构出来。
层次机器重构算法
层次机器形式
算法步骤
1. 在最低水平上，设定0级模型为描述数据本身，即M0=s1s2s3...；
2. 从更低模型重构模型Ml=Ml-1/~，其中~表示l级上的因果等价类；操作的含义是，在l-1级上被区别对待的状态在l级上可以被视为同一个因果态。此时S和T都更新了；
3. 收集更多的数据，增大序列长度L，得到更加精确的一系列模型Ml；
4. 如果随着L增大，模型的复杂度发散，即[math]\displaystyle{ \lVert M_l \rVert \to \infty }[/math]，那么回到第二步，得到更高级模型Ml+1；
5. 如果模型复杂度收敛，意味着重建好了一个合适的ϵ-机器，程序退出。
实例
逻辑斯谛映射
逻辑斯谛（Logistic）映射求取迭代函数的极值，此极值可能呈现单周期、倍周期等现象。
元胞自动机
元胞自动机的复杂度的量化可使用0-阶图复杂度，即算术复杂度。
数字经济
链接全球创新网络资源，构建世界各地科研矩阵，助力探索超大型城市可持续发展创新政策、路径和在地解决方案，共同构建更智慧、更绿色、更有韧性、更可持续的数字未来。
参考文献
- ↑ 1.0 1.1 James P. Crutchfield, Karl Young. Inferring Statistical Complexity. PHYSICAL REVIEW LETTERS, VOLUME 63, NUMBER 2. 10 JULY 1989
- ↑ James P. Crutchfield. The Calculi of Emergence: Computation, Dynamics, and Induction. SFI 94-03-016. 1994
- ↑ James E. Hanson, James P. Crutchfield. Computational Mechanics of Cellular Automata: An Example. SFI WORKING PAPER: 1995-10-095
- ↑ 4.0 4.1 Cosma Rohilla Shalizi, James P. Crutchfield. Computational Mechanics: Pattern and Prediction, Structure and Simplicity. February 1, 2008
编者推荐
计算力学和因果涌现关系密切，计算力学借鉴了因果涌现大量的概念、算法以及模型，并提出了因果态和统计复杂度概念和涌现的量化方法。下面是一些链接能够帮助读者更好的了解因果涌现的相关信息：
因果涌现读书会
读书会通过阅读前沿文献，加深我们对因果、涌现等概念的理解；聚焦于寻找因果与涌现、多尺度等概念相结合的研究方向；并探索复杂系统多尺度自动建模的研究方向。并探索复杂系统多尺度自动建模的研究方向。分享近期发展起来的一些理论与工具，包括因果涌现理论、机器学习驱动的重整化技术，以及自指动力学正在发展一套跨尺度的分析框架等。
涌现与因果的结合创造了因果涌现的概念。这是一套利用因果性来定量刻画涌现的理论体系，本季读书会通过阅读前沿文献，加深我们对因果、涌现等概念的理解；聚焦于寻找因果与涌现、多尺度等概念相结合的研究方向；并探索复杂系统多尺度自动建模的研究方向。第二季读书会更加集中在探讨因果科学与因果涌现之间的关系，以及对涌现进行定量刻画，聚焦于寻找因果与涌现、多尺度等概念相结合的研究方向；并探索复杂系统多尺度自动建模的研究方向。
因果涌现第三季的读书会中，将进一步围绕因果涌现的核心研究问题『因果涌现的定义』以及『因果涌现的辨识』来进行深入的学习和讨论，对 Erik Hoel 提出的 Causal Emergence，Causal Geometry 等因果涌现的核心理论进行深入的探讨和剖析，并且详细梳理其中涉及到的方法论，包括从动力学约简、隐空间动力学学习等其他研究领域中学习和借鉴相关的研究思路，最后探讨因果涌现的应用，包括基于生物网络、脑网络或者涌现探测等问题展开扩展，发掘更多的实际应用场景。