计算力学
计算力学(Computational Mechanics)是科学研究人员从自然和人工耦合与解耦之物的多维泛尺度视角入手,在相对安全和部分抽象的理论时空上,研究事物和斑图形成的原因,投射为理论框架内反映事物特有结构的内禀属性,并能使用相应计算软件及设备解析或生成斑图的一套方案。计算软件和设备各层级将经历不断地迭代升级,运算效能,通用性,生产力都不断得到提高,逐渐逼近理想的[math]\displaystyle{ \epsilon-machine }[/math]。而自然和人工之物的内禀属性,也将理想化到因果态(Causal States)。达到理想化的因果态的同时,解析和生成新的斑图的因果力就成为了广大志愿者的期待。为了满足这些期待,回答什么是驱动系统组件发生状态转换[math]\displaystyle{ \mathcal{S}_i \to \mathcal{S}_j, \overset{\to 1}{S} \to (s) }[/math]的原因就成了紧迫的问题。而为了使生态环境各组分保持链接,研究组件又有多大概率发生相互转换,他们如何泛在地分布,在理论框架[math]\displaystyle{ \{ \mathbfcal{S} = \{\epsilon(\overset{\gets}{s})\}, \mathbf{T} \} }[/math]内都提供了充足的讨论空间。
此研究领域由圣塔菲研究所的詹姆斯.P.克拉奇菲尔德(James P. Crutchfield)所开创,北京师范大学系统科学学院教授张江,在参加圣塔菲研究所2007暑期夏令营(SFI 2007 Beijing Summer School)的过程中,结识了克拉奇菲尔德和他的同伴Shalizi,并对计算力学展开了讨论,互相向在座的各位提供了洞察力。此后十多年的一段时间该领域文献的解读和出版相对沉寂,而张江老师仍致力于复杂性科学、人工智能领域的知识服务工作。最终张江老师不忘科研初心,立志建立复杂系统科研的新高地,于是在2021年底在成功注册“集智俱乐部”实体的基础上,连续举办了一系列复杂系统相关的读书会。而计算力学的若干文献则在《因果涌现读书会》得到解读,相关研究者趋之若鹜。借着《因果涌现读书会》的春风,计算力学也迎来新的历史发展机遇。
计算力学的早期工作涉及“计量涌现(The Calculi of Emergence)”,试图对复杂系统、统计物理、热力学的某个尺度进行度量。随后克拉奇菲尔德和他的同伴,发现并证明用因果态表征[math]\displaystyle{ \epsilon-machine }[/math]定义下的深度(热力学复杂度或统计复杂度),能提供计算力学范畴的最小复杂度和最佳预测性,是复杂度理想化的一处浅滩。若想了解更多,请加入《因果涌现读书会》参与相关课题的研究和讨论。
历史渊源
圣塔菲研究所的詹姆斯.P.克拉奇菲尔德(James P. Crutchfield)在1989年 - 2001年期间,以香农信息论,和其他跨学科理论为基础,发布了一系统文献,提出了计算力学的概念。其中包括:
这些文献使用了信息论当中各式熵的定义,包括信息熵、联合熵、条件熵和互信息熵。各个熵之间存在一定的计算关系,其中条件熵即为联合熵减去作为条件变量的熵。另外还引用了熵率的概率,熵率是指字符串长度逐渐趋于∞时,字符串的平均信息熵的极限值。在此基础上,计算力学大量使用了信息论的基本公式做了一些证明,还做了一定的扩展。在2001年的一篇文献中,证明过程相对完整。
北京集智科学研究中心的张江老师2022年借助《因果涌现读书会》的机会,将克拉奇菲尔德的计算力学领域相关论文和读书会成员共同解读,其中一位讲者使用了拉普拉斯守护者的语言来作为开场白,阐述了作为观测者对环境的感知的相关内容。其中有两场读书会让人印象深刻:
简介
研究对象
自然和人工之物当中,存在偶然与必然的成分。在其之外,存在与环境交互的机制。计算力学研究事物和斑图形成的原因,有效预测事物和模式的演变。
理论框架
定义一:厄普西隆机器(ϵ\epsilon - Machine),可用于捕捉斑图和模式。
[math]\displaystyle{ \epsilon - machine = \{\mathbfcal{S}, \mathbf{T}\} }[/math]
其中,[math]\displaystyle{ \mathbfcal{S} }[/math]是因果涌现里粗粒化后的宏观态,即计算力学里的因果态;[math]\displaystyle{ \mathbf{T} }[/math]是状态转换概率分布张量,在因果科学的马尔科夫转移矩阵的基础上,再联合微观态的单步跃迁,共同耦合构成跨层级的概率分布张量。
有效态(effective state)
有效态(effective state)能捕捉斑图和模式,在统计复杂度意义上没有因果态(Causal State)简洁。
因果态(causal state)
因果态来自于因果涌现和NIS框架的,在计算力学里是作为有效态的一种存在。
竞争态(prescient rival)
是预测能力和因果态相当的一种状态粒粗化方法,经证明他们只能是因果态的进一步细化。
状态空间
计算力学的状态空间包含状态转换概率分布张量,标签化的状态转换概率[math]\displaystyle{ T_{ij}^{(s)} }[/math]被定义为宏观态由Si转换到Sj,同时微观态转换到s的概率。
[math]\displaystyle{ T_{ij}^{(s)} \equiv P(\mathcal{S}' = \mathcal{S}_j, \overset{\to 1}{S} = s \vert \mathcal{S} = \mathcal{S}_i) }[/math]
转换概率分布张量还可以加入阶次,那么转换概率分布张量T的属性可以是有序对(μ,i,j,s)。在状态转换图中,连接概率矩阵(张量)可以用符号[math]\displaystyle{ \mathbf{T}_{μ,ij}^{(s)}=\{P_{s,ij}^μ\} }[/math]代替。
转换概率分布张量的阶次为0时,且仅考虑宏观态的状态转换,即一个宏观态的所有微观态(s)汇聚到一起,转换概率分布张量也可以理解为有向图的连接矩阵。
统计复杂度
定义
统计复杂度可用于线性系统的复杂性量化,也可用于非线性动态系统中复杂系统因果涌现复杂性的量化。香农熵基于概率分布,但对于确定性混沌却有些不足,统计复杂度则能量化宏观态上出现的确定性混沌。
统计复杂度(statistical complexity)是复杂系统深度的量化方式之一,用[math]\displaystyle{ C_{\mu} }[/math]符号来表示。其中μ依赖于测度和分布。跟统计力学中的量化理论有关,基于测度系统的定义。在部分混沌物理学的文献中,也被记作α。
在1989年《推理统计复杂度》[1]这篇文献里,复杂度的阶次符号为α,在2001年《计算力学:模式、预测、结构与简洁性》[4]中的符号为μ,这里我们统一使用μ。
Renyi信息和熵
μ-阶图复杂度
μ-阶图复杂度即为μ-阶图的概率算术复杂度,[math]\displaystyle{ C_{μ=0}=\log \lvert \mathbf{V} \rvert }[/math]。其中[math]\displaystyle{ \mathbf{V} }[/math]为μ-阶图的顶点集合。
在集智俱乐部的《因果涌现读书会》因果几何上,会做更详细的介绍,有编程经验的可以认为是有限状态机。
0-阶图复杂度([math]\displaystyle{ C_{μ=0} }[/math])和蔡汀-柯尔莫哥洛夫复杂度不同,0-阶图复杂度带有概率分布且依赖带有随机整数寄存器的图灵机。
μ-阶图复杂度([math]\displaystyle{ C_{μ} }[/math])是区别于信息论的量化复杂度的方法,后者基于维度[math]\displaystyle{ d_μ }[/math]和熵[math]\displaystyle{ h_μ }[/math]。
拓扑复杂度
当μ-阶图复杂度的μ为零时,μ-阶图复杂度也称为拓扑复杂度。由ϵ-机器的物征值给出。
统计复杂度
μ-阶图复杂度的μ = 1时,复杂度的量化方式为统计复杂度,带有热力学的“高温限制”。这里的统计复杂度也是1-阶图复杂度,即为香农熵。由ϵ-机器的物征向量给出。 统计复杂度(statistical complexity)是复杂系统深度的量化方式之一,用[math]\displaystyle{ C_{\mu} }[/math]符号来表示。这里的对应于因果涌现量化(有效信息EI),统计复杂度[math]\displaystyle{ C_{\mu} }[/math]越小,有效信息EI越大。
统计复杂度的下界,从周期行为和频段耦合中得出,是带二阶项的相位转换。
计算复杂度
使用计算机器生成相应序列的复杂程度,计算力学和因果涌现对应的物理过程考虑二类机器:一类是图灵机,一类是ϵ-机器。ϵ-机器带有扰动,在NIS+框架中,扰动由用作编码器的可逆神经网络的丢弃维度和用作解码器的可逆神经网络引入的维度所构成。
因果态的统计复杂度
[math]\displaystyle{ C_μ(\mathbfcal{S}) \equiv H[\mathcal{R}] }[/math]
此公式可用于因果涌现量化(有效信息EI),统计复杂度[math]\displaystyle{ C_{\mu} }[/math]越小,有效信息EI越大。
其中μ跟统计力学中的量化理论有关,基于测度系统的定义。在部分混沌物理学的文献中,也被记作α。
过程的统计复杂度
过程的统计复杂度(Statistical Complexity of a Process)
[math]\displaystyle{ C_μ(\mathcal{O}) \equiv C_{\mu}[\mathbfcal{S}] }[/math]
层次机器重构
模式识别
因果涌现识别
模式预测
因果涌现预测
机器学习
随着数据的增长,计算机器也会越来越复杂,逐渐突破原有层级,达到新的层级。当今OpenAI的ChatGPT可以当作是字符生成器。
厄普西隆(ϵ)机器
此机器可以有效捕获模式,形式为有序对[math]\displaystyle{ \left \{ \epsilon, \mathbf{T} \right \} }[/math]。可以是信息源的生成机器,也可以是信息目的地重构出的机器。
厄普西隆(ϵ)机器的统计力学描述
实例
混沌动力学
逻辑斯谛(Logistic)映射
逻辑斯谛(Logistic)映射求取迭代函数的极值,此极值可能呈现单周期、倍周期等现象。
元胞自动机
元胞自动机的复杂度的量化可使用0-阶图复杂度,即算术复杂度。
锚点经济学
参考文献
- ↑ 1.0 1.1 James P. Crutchfield, Karl Young. Inferring Statistical Complexity. PHYSICAL REVIEW LETTERS, VOLUME 63, NUMBER 2. 10 JULY 1989
- ↑ James P. Crutchfield. The Calculi of Emergence: Computation, Dynamics, and Induction. SFI 94-03-016. 1994
- ↑ James E. Hanson, James P. Crutchfield. Computational Mechanics of Cellular Automata: An Example. SFI WORKING PAPER: 1995-10-095
- ↑ 4.0 4.1 Cosma Rohilla Shalizi, James P. Crutchfield. Computational Mechanics: Pattern and Prediction, Structure and Simplicity. February 1, 2008
- ↑ https://pattern.swarma.org/study_group_issue/259
- ↑ https://pattern.swarma.org/study_group_issue/532