| 第368行： |
第368行： |
| | <br\> | | <br\> |
| | | | |
| | + | ==尺度闭合性== |
| | + | |
| | + | 当我们在研究多尺度系统时，在弄清尺度间是如何互相影响之前，我们可以先研究一个更简单的问题：我们如何能判断两个尺度之间的动力学是不是独立计算和演化的。 |
| | + | |
| | + | 这个问题由来已久，Anil Seth在他的动力学解耦的文章中认为，在一个复杂系统中，比如一个动物，当宏观动力学（肢体的活动）能够自主演化，不需要微观动力学（细胞的活动）来提供预测信息的时候，我们就认为存在涌现。 |
| | + | |
| | + | 所以，这篇文章研究了三种闭合方式：因果闭合、信息闭合和计算闭合，作为尺度间是否独立演化的指标。这里的闭合是指两个尺度之间的闭合。当达到闭合时，即代表两个尺度达到了某种程度上的‘独立’。 |
| | + | |
| | + | |
| | + | ===基础概念=== |
| | + | |
| | + | ====软件和硬件==== |
| | + | |
| | + | 在这篇文章中，作者们使用‘软件’和‘硬件’来类比系统。比如说，当我们使用一台电脑计算“1+2”的时候，我们知道这台电脑会得出“3”的结果。这是因为我们知道软件的输入是“1+2”，而不会去想，把“1+2”翻译成一条二进制的机器码，交给软件的底层代码进行操作，得到“3”的机器码再翻译回来；更不会去想，计算机的硬件，比如CPU里各个组成中的晶片经过了什么样的变化来处理这条指令的。 |
| | + | |
| | + | 所以，‘软件’代表了某个宏观尺度，‘硬件’代表了某个微观尺度。虽然‘软件’需要依托在‘硬件’之上运行，但是当我们去理解‘软件’的运行规律的时候，却不需要回到‘硬件’层面上来解释。这就是‘软件’和‘硬件’之间的计算独立性：‘软件’（对‘硬件’）闭合了。 |
| | + | |
| | + | 计算机中的软件和硬件是人类定义的，那自然界中的其他非人造系统中会不会也存在这样的软件硬件的区分呢？这就是这篇文章主要探讨的事情。 |
| | + | |
| | + | |
| | + | |
| | + | ====单尺度因果态==== |
| | + | |
| | + | 因果态是计算力学中的一个概念。它的意思是说，当我们在一个时序系统中，我们想要有一个ϵ-machine（ϵ-机器），能够根据当前时间步的状态和历史记忆，来预测未来状态。 |
| | + | |
| | + | 无论系统是确定的或概率生成的，当我们已知t时刻的状态和历史记忆时，我们能够预测未来状态的轨迹 <math>p(\overrightarrow{X_t}| \overleftarrow{X_t}) </math>。而不同时刻，t和t'的状态和历史记忆虽然不完全一样，但是他们可能会导致同样的未来状态，<math>p(\overrightarrow{X_t}| \overleftarrow{X_t}) = p(\overrightarrow{X_t'}| \overleftarrow{X_t'}) </math>。所以，计算力学中把这些具有相同未来的t时刻划为等价euqivalent的状态，即 |
| | + | |
| | + | <math>\overleftarrow{x_t} \equiv \overleftarrow{x_t'}\ \ \text{iff}\ \ p(\overrightarrow{x_t}| \overleftarrow{x_t} ) = p(\overrightarrow{x_t'}|\overleftarrow{x_t'}) </math> |
| | + | |
| | + | 并定义因果态， |
| | + | |
| | + | <math>E = \{E_t\}_{t \in \mathbb{N} }, E_t = \epsilon( \overleftarrow{X_t} ) </math> |
| | + | |
| | + | 所以，ϵ-机器的工作是根据当前状态和历史记忆而判断t时刻系统处于哪个因果态，并根据该因果态进行未来轨迹预测。 |
| | + | |
| | + | 我们可以从最小解释模型的角度出发来理解因果态。最小解释模型是指，我们要如何去用最简洁的宏观状态来解释和描述系统发生的现象，而且这种解释模型要在微观层面扰动时保持‘稳定’。所以它追求的是两方面：首先需要稳定，其次尺度越高越好。而这个宏观状态就是因果态。 |
| | + | |
| | + | |
| | + | |
| | + | ====跨尺度因果态==== |
| | + | |
| | + | 设我们对微观动力学 <math>X_t</math> 粗粒化成宏观动力学 <math>Z_t = f(X_t)</math>，<math>f</math> 为粗粒化函数。刚才的ϵ-机器只能处理在 <math>X</math> 空间上单一尺度的因果态，而作者们提出了另一种机器，υ-machine（υ-机器）来尝试定义跨尺度的因果态和计算机器。他们把因果态定义中的未来状态从微观的 <math>X</math> 改为宏观的 <math>Z</math>，并定义微观状态 <math>X</math> 中的等价关系为 |
| | + | |
| | + | <math>\overleftarrow{x_t} \equiv \overleftarrow{x_t'} \ \ \text{iff}\ \ p( \overrightarrow{z_t} | \overleftarrow{x_t}) = p(\overrightarrow{z_t'}| \overleftarrow{x_t'}) </math> |
| | + | |
| | + | 也就是说，υ-机器的目标不再是预测 <math>X</math> 的未来轨迹，而是其粗粒化后的 <math>Z</math> 的未来轨迹，并把拥有同样 <math>p(\overrightarrow{z_t}| \overleftarrow{x_t})</math> 的 <math>\overleftarrow{x_t}</math> 和 <math>\overleftarrow{x_t'}</math> 定义为υ-机器的因果态 <math>U</math>： |
| | + | |
| | + | <math>U = \{U_t\}_{t \in \mathbb{N} }, U_t = υ( \overleftarrow{X_t} ) </math> |
| | + | |
| | + | 它的意义是什么呢？作者给出的解释是，υ-机器的因果态是一个最优的信息瓶颈：υ-机器是一种对 <math>\overleftarrow{x_t}</math> 粒度最粗的并满足对 <math>\overrightarrow{z_t}</math>的最大预测性的粗粒化方案。 |
| | + | |
| | + | 所以，我们现在有三种机器： |
| | + | |
| | + | # 微观动力学 <math>X_t</math> 本身的ϵ-机器，因果态为 <math>E</math>； |
| | + | |
| | + | # 宏观动力学 <math>Z_t</math> 本身的ϵ-机器，因果态为 <math>E'</math>； |
| | + | |
| | + | # 微观与宏观动力学 <math>Z_t = f(X_t)</math> 之间的υ-机器，因果态为<math>U</math>； |
| | + | |
| | + | 这三种机器的因果态有什么区别呢？首先，<math>U_t</math> 要比 <math>E'_t</math> 更强，因为后者只包括了宏观的信息，而前者同时包括了宏观和微观的信息。其次，<math>E_t</math> 要比 <math>U_t</math> 更强，因为 <math>U_t</math> 只保留了宏观的最大预测性，而 <math>E_t</math> 能保留微观的最大预测性（同时因为我们知道 <math>f</math> ，所以 <math>E_t</math> 也能保留宏观最大预测性）。 |
| | + | |
| | + | 我们能够了解一些关于它们的推断。 |
| | + | |
| | + | '''推断1'''：微观 <math>\overleftarrow{X_t}</math> 对宏观 <math>\overrightarrow{Z_t}</math> 提供的信息量 等于 υ-机器的因果态 <math>U_t</math> 提供的信息量，因为 |
| | + | |
| | + | <math>I(\overleftarrow{X_t}; \overrightarrow{Z_t}) |
| | + | = \sum_{\overleftarrow{x_t}} p(\overleftarrow{x_t}) D_{KL} \left ( p(\overrightarrow{z_t}|\overleftarrow{x_t}) || p(\overrightarrow{z_t}) \right ) |
| | + | = \sum_{u_t} p(u_t) D_{KL} \left ( p(\overrightarrow{z_t}|u_t) || p(\overrightarrow{z_t}) \right ) |
| | + | = I(U_t; \overrightarrow{Z_t}) |
| | + | </math> |
| | + | |
| | + | |
| | + | |
| | + | '''推断2'''：υ-机器的因果态 <math>U_t</math> 对宏观 <math>\overrightarrow{Z_t}</math> 提供的信息量 大于等于 宏观 ϵ-机器的因果态 <math>E'_t</math>。证明如下： |
| | + | |
| | + | 首先，<math>I(E'_t ; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math>；其次，<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>； |
| | + | |
| | + | 因为 <math>\overrightarrow{Z_t}</math> 是 <math>\overrightarrow{X_t}</math> 的粗粒化，所以 <math>I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math> 肯定比 <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math> 大。因此， |
| | + | |
| | + | <math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) \geq I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。证毕。 |
| | + | |
| | + | 了解了因果态的定义后，我们就能逐个了解这篇文章中的三种闭合定义。 |
| | + | |
| | + | |
| | + | |
| | + | ===因果闭合 Causal Closure=== |
| | + | |
| | + | 因果闭合的定义为：<math>Z_t</math> 的ϵ-机器 与 <math>Z_t = f(X_t)</math> 之间的υ-机器 之间存在等价关系，即 <math>E'</math> 和 <math>U</math> 之间存在双射bijective投影关系（两个空间内的因果态分组相互一一对应）。 |
| | + | |
| | + | 在这种情况下，不同 <math>X_t</math> 对 <math>Z</math> 轨迹预测的差异也会在 <math>Z_t</math> 上反映出来。也就是说，这些差异在粗粒化 <math>f</math> 过程中会被完全保留，不会被更改或抹除。 |
| | + | |
| | + | 当我们对 <math>Z</math> 进行干预的时候，微观 <math>X</math> 的状态也会跟着改变，就像当我们加热了一锅水的时候，其中的水分子的能量也会改变。因果闭合的情况是指，对 <math>Z</math>空间 进行的干预影响到 <math>X</math>空间时，按照 <math>X</math> 的动力学进行演化后进行粗粒化的 <math>Z</math>，与直接在 <math>Z</math> 空间上进行演化没有区别。 |
| | + | |
| | + | 这说明了，当我们对 <math>Z</math> 进行干预的时候，仅凭 <math>Z</math> 自身的动力学就能正确的演化，不用再回到微观 <math>X</math> 层溯源。所以这就是宏观和微观之间因果闭合了，即宏观动力学在因果性上能做到独立的演化。我们可以把 <math>t</math> 时刻的状态和历史记忆 <math>\overleftarrow{Z_t}</math> 视为 <math>Z_{t+1}</math> 的因，而非 <math>\overleftarrow{X_t}</math>。 |
| | + | |
| | + | |
| | + | |
| | + | ===信息闭合 Information Closure=== |
| | + | |
| | + | 上面所述的因果闭合的建模基于动力学的因果态，强调因果的概念。我们也可以关注计算力学的另一方面，即计算与预测。 |
| | + | |
| | + | 上述的因果态对 <math>\overrightarrow{Z_t}</math> 预测能力可以写成信息论的形式，即变量对 <math>\overrightarrow{Z_t}</math> 提供的互信息。<math>Z_t</math> 本身的ϵ-机器和 <math>Z_t = f(X_t)</math> 之间的υ-机器的等价关系可以写成： |
| | + | |
| | + | <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math> |
| | + | |
| | + | 这说明了，宏观的 <math>\overleftarrow{Z_t}</math> 和微观的 <math>\overleftarrow{X_t}</math> 给 <math>\overrightarrow{Z_t}</math> 提供的信息量是一样的。所以，<math>\overleftarrow{X_t}</math> 并不会给 <math>\overrightarrow{Z_t}</math>提供额外的信息量和额外的预测性。 |
| | + | |
| | + | 虽然定义方式不一样，但是我们不难看出，根据跨尺度因果态介绍中的推断2，因果闭合和信息闭合这两个对 <math>Z_t = f(X_t)</math> 的条件是等价的：由于<math>I(U_t ; \overrightarrow{Z_t}) = I( I(E'_t ; \overrightarrow{Z_t})</math>，所以<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。 |
| | + | |
| | + | |
| | + | 而且， |
| | + | |
| | + | <math> |
| | + | \begin{aligned} |
| | + | I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t}) |
| | + | & = I(\overrightarrow{Z_t}, \overleftarrow{X_t} ; \overleftarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\ |
| | + | & = I(\overleftarrow{X_t} ; \overleftarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\ |
| | + | & = 0 |
| | + | \end{aligned} |
| | + | </math> |
| | + | |
| | + | |
| | + | ===计算闭合 Computational Closure=== |
| | + | |
| | + | 定义 <math>E_t</math> 和 <math>E'_t</math> 分别为 <math>X</math> 和 <math>Z</math> 的ϵ-机器的因果态。 |
| | + | |
| | + | 定义 <math>Z</math> 的ϵ-机器为计算闭合，如果满足：存在粗粒化函数 <math>f^*</math>使得 |
| | + | |
| | + | <math>E'_t = f^*(E_t)</math> |
| | + | |
| | + | 也就是说， <math>E_t</math> 和 <math>E'_t</math> 之间存在一个粗粒化的（一对一或多对一）映射关系。同样的，<math>X</math> 和 <math>Z</math> 之间也存在粗粒化的映射关系，所以我们可以看到这四个变量之间的关系可以归结于如下两条从 <math>X</math> 到 <math>E'</math> 的路径： |
| | + | |
| | + | # <math>X \stackrel{\epsilon}{\rightarrow} E \stackrel{f^*}{\rightarrow} E'</math> |
| | + | # <math>X \stackrel{f}{\rightarrow} Z \stackrel{\epsilon'}{\rightarrow} E'</math> |
| | + | |
| | + | 我们把 <math>f</math> 和 <math>f^*</math> 视作粗粒化算子，<math>\epsilon</math> 和 <math>\epsilon'</math> 视作因果态算子，那么我们看到两条路径中的粗粒化算子和因果态算子是可交换的。 |
| | + | |
| | + | 上面提到过ϵ-机器可以看作最小解释模型，描述了动力学的机制。所以，因果态空间 <math>E</math> 和 <math>E'</math> 可以看作是动力学的‘机制空间’。而计算闭合的一个意义就是指出，这种动力学不仅在本来的变量/状态空间中能够被粗粒化 <math>f</math> ，而且动力学的机制也能够被粗粒化 <math>f^*</math>。所以，当计算闭合时，宏观 <math>Z</math> 空间的机制能通过粗粒化微观 <math>X</math> 空间的机制而获得。 |
| | + | |
| | + | |
| | + | |
| | + | 计算闭合的提出是为了解决如下一个问题： |
| | + | |
| | + | 我们可以把一个确定性自动机（deterministic automata）定义为 状态集（如 <math>s_1, s_2, ...</math>）和 输入符号集（如 <math>a, b, ...</math>）构成。由于其确定性，每个“状态+输入”组合唯一确定下一个状态，例如 状态 <math>s_1</math> 和 输入 <math>a</math> 一定会跳转到 <math>s_2</math>。当我们对输入符号粗粒化（例如：<math>\{a,b\}</math> 合并为符号 A，<math>c</math> 映射为 1），原确定性可能丢失（状态 <math>s_1</math> 遇到输入 0（原 <math>a</math> 或 <math>b</math>）可能跳转到 <math>s_2</math> 或 <math>s_3</math> ，不再唯一。 |
| | + | |
| | + | 而计算闭合通过‘双重粗粒化’，对状态也进行一个粗粒化（从 <math>\{s_1, s_2, s_3\}</math> 到 <math>\{S_1, S_2\}</math>），以修复上述因输入符号被粗粒化后而破坏的确定性。它的目标是让新的状态空间 <math>\{S_1, S_2\}</math> 在宏观的输入 <math>\{A, B\}</math> 时仍有确定性的转移。 |
| | + | |
| | + | 满足计算闭合的关键条件为：原自动机中，被合并的状态对合并后的输入必须有相同行为。比如，所有粗粒化到状态 <math>S_1</math> 的微观状态，在面对宏观输入 <math>A</math> 时，在下一步必须跳转到同一宏观状态。而面对宏观输入 <math>B</math> 时，则会统一跳转到另一宏观状态 <math>S_2</math>。 |
| | + | |
| | + | |
| | + | |
| | + | |
| | + | ===尺度闭合 与 成块性=== |
| | + | |
| | + | 在论文<ref name=":21" />中，作者给出了以下定理： |
| | + | |
| | + | 一个不可约irreducible，和非周期性aperiodic 的马尔科夫链 <math>X</math> ，而且 <math>Z_t=f(X_t)</math> 是对 <math>X</math> 的状态空间上定义的粗粒化函数，那 <math>X</math> 的强成块性 '''在其达到稳态stationary分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|X_t) </math>。 |
| | + | |
| | + | 另外，<math>X</math> 的弱成块性 '''在其达到稳态分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|Z_{<t}) </math>。 |
| | + | |
| | + | |
| | + | |
| | + | 作者们<ref name=":21" />认为，当使用 <math>Z_t</math> 来预测 <math>Z_{t+1}</math> 时，可以拆分为两步：先利用宏观 <math>Z_t</math> 推断微观 <math>X_t</math>，再利用微观 <math>X_t</math> 估算宏观 <math>Z_{t+1}</math>。所以， |
| | + | |
| | + | '''推断1'''：当一个马尔科夫链 <math>X_t</math> 存在粗粒化函数 <math>Z_t=f(X_t)</math>，而 <math>X_t</math> 对 <math>f</math> 强成块时，<math>Z_t</math> 满足因果闭合/计算闭合。（但是满足因果闭合/计算闭合的 <math>Z_t=f(X_t)</math> 不一定都是强成块的，详情请参考论文<ref name=":21" />反例6）。证明如下： |
| | + | |
| | + | <math> |
| | + | \begin{aligned} |
| | + | I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t}) & = H(\overrightarrow{Z_t} | \overleftarrow{Z_t}) - H(\overrightarrow{Z_t} | \overleftarrow{X_t} , \overleftarrow{Z_t}) \\ |
| | + | & = H(\overrightarrow{Z_t} | \overleftarrow{Z_t}) - H(\overrightarrow{Z_t} | \overleftarrow{X_t}) \\ |
| | + | & = \sum_{l = t+1}^{t+L} \left ( H(Z_l | Z_{l-1}) - H(Z_l | \overrightarrow{Z_{t+1}}, X_t) \right ) \\ |
| | + | &\leq = \sum_{l = t+1}^{t+L} \left ( H(Z_l | Z_{l-1}) - H(Z_l | \overrightarrow{Z_{t+1}}, X_t) \right ) \\ |
| | + | = 0 |
| | + | \end{aligned} |
| | + | </math> |
| | + | |
| | + | |
| | + | |
| | + | '''推断2'''：假设存在 <math>Z=f(E)=f(\epsilon(X))</math>，<math>E</math> 为 <math>X_t</math> 的ϵ-机器的因果态，那么 <math>E</math> 是弱成块的条件 等价于 <math>Z_t</math> 计算闭合的条件。证明如下： |
| | + | |
| | + | 首先，计算闭合的条件说明，<math>Z</math> 的ϵ-机器的因果态 <math>E'</math>与 <math>E</math>之间存在粗粒化函数 <math>f'</math>，所以 <math>E</math> 可以被粗粒化成具有马尔科夫性的 <math>E'</math>，满足了弱成块的定义。 |
| | + | |
| | + | 而且， <math>E</math> 对 <math>f</math> 弱成块时，我们就能推断 <math>X</math> 也具有马尔科夫性，而 <math>Z</math> 的ϵ-机器的因果态 <math>E'</math>就是一个对 <math>Z</math> 马尔科夫链的粗粒化划分，写作 <math>E'_t = \epsilon' (Z_t) = \epsilon' ( f (E_t))</math>，所以因果态 <math>E'</math>与 <math>E</math>之间存在粗粒化函数，满足了计算闭合的条件。 |
| | + | |
| | + | <br/> |
| | | | |
| | ==因果涌现：有效信息== | | ==因果涌现：有效信息== |
| 第579行： |
第764行： |
| | | | |
| | <br/> | | <br/> |
| − |
| |
| − |
| |
| − |
| |
| − | ==尺度闭合性==
| |
| − |
| |
| − | 当我们在研究多尺度系统时，在弄清尺度间是如何互相影响之前，我们可以先研究一个更简单的问题：我们如何能判断两个尺度之间的动力学是不是独立计算和演化的。
| |
| − |
| |
| − | 这个问题由来已久，Anil Seth在他的动力学解耦的文章中认为，在一个复杂系统中，比如一个动物，当宏观动力学（肢体的活动）能够自主演化，不需要微观动力学（细胞的活动）来提供预测信息的时候，我们就认为存在涌现。
| |
| − |
| |
| − | 所以，这篇文章研究了三种闭合方式：因果闭合、信息闭合和计算闭合，作为尺度间是否独立演化的指标。这里的闭合是指两个尺度之间的闭合。当达到闭合时，即代表两个尺度达到了某种程度上的‘独立’。
| |
| − |
| |
| − |
| |
| − | ===基础概念===
| |
| − |
| |
| − | ====软件和硬件====
| |
| − |
| |
| − | 在这篇文章中，作者们使用‘软件’和‘硬件’来类比系统。比如说，当我们使用一台电脑计算“1+2”的时候，我们知道这台电脑会得出“3”的结果。这是因为我们知道软件的输入是“1+2”，而不会去想，把“1+2”翻译成一条二进制的机器码，交给软件的底层代码进行操作，得到“3”的机器码再翻译回来；更不会去想，计算机的硬件，比如CPU里各个组成中的晶片经过了什么样的变化来处理这条指令的。
| |
| − |
| |
| − | 所以，‘软件’代表了某个宏观尺度，‘硬件’代表了某个微观尺度。虽然‘软件’需要依托在‘硬件’之上运行，但是当我们去理解‘软件’的运行规律的时候，却不需要回到‘硬件’层面上来解释。这就是‘软件’和‘硬件’之间的计算独立性：‘软件’（对‘硬件’）闭合了。
| |
| − |
| |
| − | 计算机中的软件和硬件是人类定义的，那自然界中的其他非人造系统中会不会也存在这样的软件硬件的区分呢？这就是这篇文章主要探讨的事情。
| |
| − |
| |
| − |
| |
| − |
| |
| − | ====单尺度因果态====
| |
| − |
| |
| − | 因果态是计算力学中的一个概念。它的意思是说，当我们在一个时序系统中，我们想要有一个ϵ-machine（ϵ-机器），能够根据当前时间步的状态和历史记忆，来预测未来状态。
| |
| − |
| |
| − | 无论系统是确定的或概率生成的，当我们已知t时刻的状态和历史记忆时，我们能够预测未来状态的轨迹 <math>p(\overrightarrow{X_t}| \overleftarrow{X_t}) </math>。而不同时刻，t和t'的状态和历史记忆虽然不完全一样，但是他们可能会导致同样的未来状态，<math>p(\overrightarrow{X_t}| \overleftarrow{X_t}) = p(\overrightarrow{X_t'}| \overleftarrow{X_t'}) </math>。所以，计算力学中把这些具有相同未来的t时刻划为等价euqivalent的状态，即
| |
| − |
| |
| − | <math>\overleftarrow{x_t} \equiv \overleftarrow{x_t'}\ \ \text{iff}\ \ p(\overrightarrow{x_t}| \overleftarrow{x_t} ) = p(\overrightarrow{x_t'}|\overleftarrow{x_t'}) </math>
| |
| − |
| |
| − | 并定义因果态，
| |
| − |
| |
| − | <math>E = \{E_t\}_{t \in \mathbb{N} }, E_t = \epsilon( \overleftarrow{X_t} ) </math>
| |
| − |
| |
| − | 所以，ϵ-机器的工作是根据当前状态和历史记忆而判断t时刻系统处于哪个因果态，并根据该因果态进行未来轨迹预测。
| |
| − |
| |
| − | 我们可以从最小解释模型的角度出发来理解因果态。最小解释模型是指，我们要如何去用最简洁的宏观状态来解释和描述系统发生的现象，而且这种解释模型要在微观层面扰动时保持‘稳定’。所以它追求的是两方面：首先需要稳定，其次尺度越高越好。而这个宏观状态就是因果态。
| |
| − |
| |
| − |
| |
| − |
| |
| − | ====跨尺度因果态====
| |
| − |
| |
| − | 设我们对微观动力学 <math>X_t</math> 粗粒化成宏观动力学 <math>Z_t = f(X_t)</math>，<math>f</math> 为粗粒化函数。刚才的ϵ-机器只能处理在 <math>X</math> 空间上单一尺度的因果态，而作者们提出了另一种机器，υ-machine（υ-机器）来尝试定义跨尺度的因果态和计算机器。他们把因果态定义中的未来状态从微观的 <math>X</math> 改为宏观的 <math>Z</math>，并定义微观状态 <math>X</math> 中的等价关系为
| |
| − |
| |
| − | <math>\overleftarrow{x_t} \equiv \overleftarrow{x_t'} \ \ \text{iff}\ \ p( \overrightarrow{z_t} | \overleftarrow{x_t}) = p(\overrightarrow{z_t'}| \overleftarrow{x_t'}) </math>
| |
| − |
| |
| − | 也就是说，υ-机器的目标不再是预测 <math>X</math> 的未来轨迹，而是其粗粒化后的 <math>Z</math> 的未来轨迹，并把拥有同样 <math>p(\overrightarrow{z_t}| \overleftarrow{x_t})</math> 的 <math>\overleftarrow{x_t}</math> 和 <math>\overleftarrow{x_t'}</math> 定义为υ-机器的因果态 <math>U</math>：
| |
| − |
| |
| − | <math>U = \{U_t\}_{t \in \mathbb{N} }, U_t = υ( \overleftarrow{X_t} ) </math>
| |
| − |
| |
| − | 它的意义是什么呢？作者给出的解释是，υ-机器的因果态是一个最优的信息瓶颈：υ-机器是一种对 <math>\overleftarrow{x_t}</math> 粒度最粗的并满足对 <math>\overrightarrow{z_t}</math>的最大预测性的粗粒化方案。
| |
| − |
| |
| − | 所以，我们现在有三种机器：
| |
| − |
| |
| − | # 微观动力学 <math>X_t</math> 本身的ϵ-机器，因果态为 <math>E</math>；
| |
| − |
| |
| − | # 宏观动力学 <math>Z_t</math> 本身的ϵ-机器，因果态为 <math>E'</math>；
| |
| − |
| |
| − | # 微观与宏观动力学 <math>Z_t = f(X_t)</math> 之间的υ-机器，因果态为<math>U</math>；
| |
| − |
| |
| − | 这三种机器的因果态有什么区别呢？首先，<math>U_t</math> 要比 <math>E'_t</math> 更强，因为后者只包括了宏观的信息，而前者同时包括了宏观和微观的信息。其次，<math>E_t</math> 要比 <math>U_t</math> 更强，因为 <math>U_t</math> 只保留了宏观的最大预测性，而 <math>E_t</math> 能保留微观的最大预测性（同时因为我们知道 <math>f</math> ，所以 <math>E_t</math> 也能保留宏观最大预测性）。
| |
| − |
| |
| − | 我们能够了解一些关于它们的推断。
| |
| − |
| |
| − | '''推断1'''：微观 <math>\overleftarrow{X_t}</math> 对宏观 <math>\overrightarrow{Z_t}</math> 提供的信息量 等于 υ-机器的因果态 <math>U_t</math> 提供的信息量，因为
| |
| − |
| |
| − | <math>I(\overleftarrow{X_t}; \overrightarrow{Z_t})
| |
| − | = \sum_{\overleftarrow{x_t}} p(\overleftarrow{x_t}) D_{KL} \left ( p(\overrightarrow{z_t}|\overleftarrow{x_t}) || p(\overrightarrow{z_t}) \right )
| |
| − | = \sum_{u_t} p(u_t) D_{KL} \left ( p(\overrightarrow{z_t}|u_t) || p(\overrightarrow{z_t}) \right )
| |
| − | = I(U_t; \overrightarrow{Z_t})
| |
| − | </math>
| |
| − |
| |
| − |
| |
| − |
| |
| − | '''推断2'''：υ-机器的因果态 <math>U_t</math> 对宏观 <math>\overrightarrow{Z_t}</math> 提供的信息量 大于等于 宏观 ϵ-机器的因果态 <math>E'_t</math>。证明如下：
| |
| − |
| |
| − | 首先，<math>I(E'_t ; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math>；其次，<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>；
| |
| − |
| |
| − | 因为 <math>\overrightarrow{Z_t}</math> 是 <math>\overrightarrow{X_t}</math> 的粗粒化，所以 <math>I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math> 肯定比 <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math> 大。因此，
| |
| − |
| |
| − | <math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) \geq I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。证毕。
| |
| − |
| |
| − | 了解了因果态的定义后，我们就能逐个了解这篇文章中的三种闭合定义。
| |
| − |
| |
| − |
| |
| − |
| |
| − | ===因果闭合 Causal Closure===
| |
| − |
| |
| − | 因果闭合的定义为：<math>Z_t</math> 的ϵ-机器 与 <math>Z_t = f(X_t)</math> 之间的υ-机器 之间存在等价关系，即 <math>E'</math> 和 <math>U</math> 之间存在双射bijective投影关系（两个空间内的因果态分组相互一一对应）。
| |
| − |
| |
| − | 在这种情况下，不同 <math>X_t</math> 对 <math>Z</math> 轨迹预测的差异也会在 <math>Z_t</math> 上反映出来。也就是说，这些差异在粗粒化 <math>f</math> 过程中会被完全保留，不会被更改或抹除。
| |
| − |
| |
| − | 当我们对 <math>Z</math> 进行干预的时候，微观 <math>X</math> 的状态也会跟着改变，就像当我们加热了一锅水的时候，其中的水分子的能量也会改变。因果闭合的情况是指，对 <math>Z</math>空间 进行的干预影响到 <math>X</math>空间时，按照 <math>X</math> 的动力学进行演化后进行粗粒化的 <math>Z</math>，与直接在 <math>Z</math> 空间上进行演化没有区别。
| |
| − |
| |
| − | 这说明了，当我们对 <math>Z</math> 进行干预的时候，仅凭 <math>Z</math> 自身的动力学就能正确的演化，不用再回到微观 <math>X</math> 层溯源。所以这就是宏观和微观之间因果闭合了，即宏观动力学在因果性上能做到独立的演化。我们可以把 <math>t</math> 时刻的状态和历史记忆 <math>\overleftarrow{Z_t}</math> 视为 <math>Z_{t+1}</math> 的因，而非 <math>\overleftarrow{X_t}</math>。
| |
| − |
| |
| − |
| |
| − |
| |
| − | ===信息闭合 Information Closure===
| |
| − |
| |
| − | 上面所述的因果闭合的建模基于动力学的因果态，强调因果的概念。我们也可以关注计算力学的另一方面，即计算与预测。
| |
| − |
| |
| − | 上述的因果态对 <math>\overrightarrow{Z_t}</math> 预测能力可以写成信息论的形式，即变量对 <math>\overrightarrow{Z_t}</math> 提供的互信息。<math>Z_t</math> 本身的ϵ-机器和 <math>Z_t = f(X_t)</math> 之间的υ-机器的等价关系可以写成：
| |
| − |
| |
| − | <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>
| |
| − |
| |
| − | 这说明了，宏观的 <math>\overleftarrow{Z_t}</math> 和微观的 <math>\overleftarrow{X_t}</math> 给 <math>\overrightarrow{Z_t}</math> 提供的信息量是一样的。所以，<math>\overleftarrow{X_t}</math> 并不会给 <math>\overrightarrow{Z_t}</math>提供额外的信息量和额外的预测性。
| |
| − |
| |
| − | 虽然定义方式不一样，但是我们不难看出，根据跨尺度因果态介绍中的推断2，因果闭合和信息闭合这两个对 <math>Z_t = f(X_t)</math> 的条件是等价的：由于<math>I(U_t ; \overrightarrow{Z_t}) = I( I(E'_t ; \overrightarrow{Z_t})</math>，所以<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。
| |
| − |
| |
| − |
| |
| − | 而且，
| |
| − |
| |
| − | <math>
| |
| − | \begin{aligned}
| |
| − | I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t})
| |
| − | & = I(\overrightarrow{Z_t}, \overleftarrow{X_t} ; \overleftarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\
| |
| − | & = I(\overleftarrow{X_t} ; \overleftarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\
| |
| − | & = 0
| |
| − | \end{aligned}
| |
| − | </math>
| |
| − |
| |
| − |
| |
| − | ===计算闭合 Computational Closure===
| |
| − |
| |
| − | 定义 <math>E_t</math> 和 <math>E'_t</math> 分别为 <math>X</math> 和 <math>Z</math> 的ϵ-机器的因果态。
| |
| − |
| |
| − | 定义 <math>Z</math> 的ϵ-机器为计算闭合，如果满足：存在粗粒化函数 <math>f^*</math>使得
| |
| − |
| |
| − | <math>E'_t = f^*(E_t)</math>
| |
| − |
| |
| − | 也就是说， <math>E_t</math> 和 <math>E'_t</math> 之间存在一个粗粒化的（一对一或多对一）映射关系。同样的，<math>X</math> 和 <math>Z</math> 之间也存在粗粒化的映射关系，所以我们可以看到这四个变量之间的关系可以归结于如下两条从 <math>X</math> 到 <math>E'</math> 的路径：
| |
| − |
| |
| − | # <math>X \stackrel{\epsilon}{\rightarrow} E \stackrel{f^*}{\rightarrow} E'</math>
| |
| − | # <math>X \stackrel{f}{\rightarrow} Z \stackrel{\epsilon'}{\rightarrow} E'</math>
| |
| − |
| |
| − | 我们把 <math>f</math> 和 <math>f^*</math> 视作粗粒化算子，<math>\epsilon</math> 和 <math>\epsilon'</math> 视作因果态算子，那么我们看到两条路径中的粗粒化算子和因果态算子是可交换的。
| |
| − |
| |
| − | 上面提到过ϵ-机器可以看作最小解释模型，描述了动力学的机制。所以，因果态空间 <math>E</math> 和 <math>E'</math> 可以看作是动力学的‘机制空间’。而计算闭合的一个意义就是指出，这种动力学不仅在本来的变量/状态空间中能够被粗粒化 <math>f</math> ，而且动力学的机制也能够被粗粒化 <math>f^*</math>。所以，当计算闭合时，宏观 <math>Z</math> 空间的机制能通过粗粒化微观 <math>X</math> 空间的机制而获得。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 计算闭合的提出是为了解决如下一个问题：
| |
| − |
| |
| − | 我们可以把一个确定性自动机（deterministic automata）定义为 状态集（如 <math>s_1, s_2, ...</math>）和 输入符号集（如 <math>a, b, ...</math>）构成。由于其确定性，每个“状态+输入”组合唯一确定下一个状态，例如 状态 <math>s_1</math> 和 输入 <math>a</math> 一定会跳转到 <math>s_2</math>。当我们对输入符号粗粒化（例如：<math>\{a,b\}</math> 合并为符号 A，<math>c</math> 映射为 1），原确定性可能丢失（状态 <math>s_1</math> 遇到输入 0（原 <math>a</math> 或 <math>b</math>）可能跳转到 <math>s_2</math> 或 <math>s_3</math> ，不再唯一。
| |
| − |
| |
| − | 而计算闭合通过‘双重粗粒化’，对状态也进行一个粗粒化（从 <math>\{s_1, s_2, s_3\}</math> 到 <math>\{S_1, S_2\}</math>），以修复上述因输入符号被粗粒化后而破坏的确定性。它的目标是让新的状态空间 <math>\{S_1, S_2\}</math> 在宏观的输入 <math>\{A, B\}</math> 时仍有确定性的转移。
| |
| − |
| |
| − | 满足计算闭合的关键条件为：原自动机中，被合并的状态对合并后的输入必须有相同行为。比如，所有粗粒化到状态 <math>S_1</math> 的微观状态，在面对宏观输入 <math>A</math> 时，在下一步必须跳转到同一宏观状态。而面对宏观输入 <math>B</math> 时，则会统一跳转到另一宏观状态 <math>S_2</math>。
| |
| − |
| |
| − |
| |
| − |
| |
| − |
| |
| − | ===尺度闭合 与 成块性===
| |
| − |
| |
| − | 在论文<ref name=":21" />中，作者给出了以下定理：
| |
| − |
| |
| − | 一个不可约irreducible，和非周期性aperiodic 的马尔科夫链 <math>X</math> ，而且 <math>Z_t=f(X_t)</math> 是对 <math>X</math> 的状态空间上定义的粗粒化函数，那 <math>X</math> 的强成块性 '''在其达到稳态stationary分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|X_t) </math>。
| |
| − |
| |
| − | 另外，<math>X</math> 的弱成块性 '''在其达到稳态分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|Z_{<t}) </math>。
| |
| − |
| |
| − |
| |
| − |
| |
| − | 作者们<ref name=":21" />认为，当使用 <math>Z_t</math> 来预测 <math>Z_{t+1}</math> 时，可以拆分为两步：先利用宏观 <math>Z_t</math> 推断微观 <math>X_t</math>，再利用微观 <math>X_t</math> 估算宏观 <math>Z_{t+1}</math>。所以，
| |
| − |
| |
| − | '''推断1'''：当一个马尔科夫链 <math>X_t</math> 存在粗粒化函数 <math>Z_t=f(X_t)</math>，而 <math>X_t</math> 对 <math>f</math> 强成块时，<math>Z_t</math> 满足因果闭合/计算闭合。（但是满足因果闭合/计算闭合的 <math>Z_t=f(X_t)</math> 不一定都是强成块的，详情请参考论文<ref name=":21" />反例6）。证明如下：
| |
| − |
| |
| − | <math>
| |
| − | \begin{aligned}
| |
| − | I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t}) & = H(\overrightarrow{Z_t} | \overleftarrow{Z_t}) - H(\overrightarrow{Z_t} | \overleftarrow{X_t} , \overleftarrow{Z_t}) \\
| |
| − | & = H(\overrightarrow{Z_t} | \overleftarrow{Z_t}) - H(\overrightarrow{Z_t} | \overleftarrow{X_t}) \\
| |
| − | & = \sum_{l = t+1}^{t+L} \left ( H(Z_l | Z_{l-1}) - H(Z_l | \overrightarrow{Z_{t+1}}, X_t) \right ) \\
| |
| − | &\leq = \sum_{l = t+1}^{t+L} \left ( H(Z_l | Z_{l-1}) - H(Z_l | \overrightarrow{Z_{t+1}}, X_t) \right ) \\
| |
| − | = 0
| |
| − | \end{aligned}
| |
| − | </math>
| |
| − |
| |
| − |
| |
| − |
| |
| − | '''推断2'''：假设存在 <math>Z=f(E)=f(\epsilon(X))</math>，<math>E</math> 为 <math>X_t</math> 的ϵ-机器的因果态，那么 <math>E</math> 是弱成块的条件 等价于 <math>Z_t</math> 计算闭合的条件。证明如下：
| |
| − |
| |
| − | 首先，计算闭合的条件说明，<math>Z</math> 的ϵ-机器的因果态 <math>E'</math>与 <math>E</math>之间存在粗粒化函数 <math>f'</math>，所以 <math>E</math> 可以被粗粒化成具有马尔科夫性的 <math>E'</math>，满足了弱成块的定义。
| |
| − |
| |
| − | 而且， <math>E</math> 对 <math>f</math> 弱成块时，我们就能推断 <math>X</math> 也具有马尔科夫性，而 <math>Z</math> 的ϵ-机器的因果态 <math>E'</math>就是一个对 <math>Z</math> 马尔科夫链的粗粒化划分，写作 <math>E'_t = \epsilon' (Z_t) = \epsilon' ( f (E_t))</math>，所以因果态 <math>E'</math>与 <math>E</math>之间存在粗粒化函数，满足了计算闭合的条件。
| |
| | | | |
| | =划分方法= | | =划分方法= |