812
个编辑
更改
跳到导航
跳到搜索
第441行：
第441行： − + − <math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) \geq I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。证毕。 − + − 了解了因果态的定义后，我们就能逐个了解这篇文章中的三种闭合定义。 第453行：
第451行： − + − + − + 第467行：
第465行： − 上述的因果态对 <math>\overrightarrow{Z_t}</math> 预测能力可以写成信息论的形式，即变量对 <math>\overrightarrow{Z_t}</math> 提供的互信息。<math>Z_t</math> 本身的ϵ-机器和 <math>Z_t = f(X_t)</math> 之间的υ-机器的等价关系可以写成：+ − + 第478行：
第476行： − − \begin{aligned}+ − − & = I(\overleftarrow{Z_t}, \overleftarrow{X_t} ; \overrightarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\ − & = I(\overleftarrow{X_t} ; \overrightarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) \\ − & = 0 − \end{aligned} 第492行：
第484行： − + − − 定义 <math>Z</math> 的ϵ-机器为计算闭合，如果满足：存在粗粒化函数 <math>f^*</math>使得 − − 第505行：
第493行： − 上面提到过ϵ-机器可以看作最小解释模型，描述了动力学的机制。所以，因果态空间 <math>E</math> 和 <math>E'</math> 可以看作是动力学的‘机制空间’。而计算闭合的一个意义就是指出，这种动力学不仅在本来的变量/状态空间中能够被粗粒化 <math>f</math> ，而且动力学的机制也能够被粗粒化 <math>f^*</math>。所以，当计算闭合时，宏观 <math>Z</math> 空间的机制能通过粗粒化微观 <math>X</math> 空间的机制而获得。 + − 计算闭合与前面的因果闭合/信息闭合之间的关系是：如果一个粗粒化函数 <math>Z_t = f(X_t)</math> 是因果闭合/信息闭合的，那它一定是计算闭合的。证明如下：+ − 首先，υ-机器的因果态 <math>U_t</math> 是 微观 ϵ-机器的因果态 <math>E_t</math> 的一种粗粒化方案（证明请参照论文<ref name="closure" /> Proposition 2）。而且，因果闭合的条件说明了，<math>U_t</math> 等于宏观 ϵ-机器的因果态 <math>E'_t</math>。所以，<math>E'_t</math> 和 <math>E_t</math> 之间也应该存在粗粒化方案，满足计算闭合的条件。+ + + − 计算闭合的提出是为了解决如下一个问题：+ − 我们可以把一个确定性自动机（deterministic automata）定义为 状态集（如 <math>s_1, s_2, ...</math>）和 输入符号集（如 <math>a, b, ...</math>）构成。由于其确定性，每个“状态+输入”组合唯一确定下一个状态，例如 状态 <math>s_1</math> 和 输入 <math>a</math> 一定会跳转到 <math>s_2</math>。当我们对输入符号粗粒化（例如：<math>\{a,b\}</math> 合并为符号 A，<math>c</math> 映射为 1），原确定性可能丢失（状态 <math>s_1</math> 遇到输入 0（原 <math>a</math> 或 <math>b</math>）可能跳转到 <math>s_2</math> 或 <math>s_3</math> ，不再唯一。 − 而计算闭合通过‘双重粗粒化’，对状态也进行一个粗粒化（从 <math>\{s_1, s_2, s_3\}</math> 到 <math>\{S_1, S_2\}</math>），以修复上述因输入符号被粗粒化后而破坏的确定性。它的目标是让新的状态空间 <math>\{S_1, S_2\}</math> 在宏观的输入 <math>\{A, B\}</math> 时仍有确定性的转移。 − 满足计算闭合的关键条件为：原自动机中，被合并的状态对合并后的输入必须有相同行为。比如，所有粗粒化到状态 <math>S_1</math> 的微观状态，在面对宏观输入 <math>A</math> 时，在下一步必须跳转到同一宏观状态。而面对宏观输入 <math>B</math> 时，则会统一跳转到另一宏观状态 <math>S_2</math>。+ + 第530行：
第519行： − +
→尺度闭合性
首先，<math>I(E'_t ; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math>；其次，<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>；
首先，<math>I(E'_t ; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math>；其次，<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>；
因为 <math>\overrightarrow{Z_t}</math> 是 <math>\overrightarrow{X_t}</math> 的粗粒化，所以 <math>I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math> 肯定比 <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math> 大。因此，
因为 <math>\overrightarrow{Z_t}</math> 是 <math>\overrightarrow{X_t}</math> 的粗粒化，所以 <math>I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math> 肯定比 <math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t})</math> 大。因此，<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) \geq I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。证毕。
了解了跨尺度因果态的定义后，我们就能逐个了解这篇文章中的三种闭合定义。
<br/>
<br/>
===因果闭合 Causal Closure===
===因果闭合 Causal Closure===
因果闭合的定义为：<math>Z_t</math> 的ϵ-机器 与 <math>Z_t = f(X_t)</math> 之间的υ-机器 之间存在等价关系，即 <math>E'</math> 和 <math>U</math> 之间存在双射bijective投影关系（两个空间内的因果态分组相互一一对应）。
因果闭合的定义为：<math>Z_t</math> 的ϵ-机器 与 <math>Z_t = f(X_t)</math> 之间的υ-机器 之间存在等价关系，即 <math>E'</math> 和 <math>U</math> 之间存在双射（bijective）投影关系（两个空间内的因果态分组相互一一对应）。
在这种情况下，不同 <math>\overleftarrow{X_t}</math> 对 <math>Z</math> 轨迹预测的差异也会在 <math>\overleftarrow{Z_t}</math> 上反映出来。也就是说，这些差异在粗粒化 <math>f</math> 过程中会被完全保留，不会被更改或抹除。
在这种情况下，不同 <math>\overleftarrow{X_t}</math> 对 <math>Z</math> 轨迹预测的差异也会在 <math>\overleftarrow{Z_t}</math> 上反映出来。也就是说，这些差异在粗粒化 <math>f</math> 过程中会被完全保留，不会被更改或抹除。
当我们对 <math>Z</math> 进行干预的时候，微观 <math>X</math> 的状态也会跟着改变，就像当我们加热了一锅水的时候，其中的水分子的能量也会改变。因果闭合的情况是指，对 <math>Z</math>空间进行的干预影响到 <math>X</math>空间时，按照 <math>X</math> 的动力学进行演化后再粗粒化得到的 <math>Z</math>，与直接在 <math>Z</math> 空间上进行演化没有区别。
当我们对 <math>Z</math> 进行干预的时候，微观 <math>X</math> 的状态也会跟着改变，就像当我们加热了一锅水的时候，其中的水分子的能量也会改变。因果闭合的物理意义为：在宏观上的干预，和微观上与之对应的干预，作用在宏观层面上产生的结果完全相同。对 <math>Z</math> 空间进行的干预影响到 <math>X</math> 空间时，按照 <math>X</math> 的动力学进行演化后再粗粒化得到的 <math>Z</math>，与直接在 <math>Z</math> 空间上进行演化没有区别。
这说明了，当我们对 <math>Z</math> 进行干预的时候，仅凭 <math>Z</math> 自身的动力学就能正确的演化，不用再回到微观 <math>X</math> 层溯源。所以这就是宏观和微观之间因果闭合了，即宏观动力学在因果性上能做到独立的演化。我们可以把 <math>t</math> 时刻的状态和历史记忆 <math>\overleftarrow{Z_t}</math> 视为 <math>\overrightarrow{X_t}</math> 的因，而非 <math>\overleftarrow{X_t}</math>。
这说明了，当我们对 <math>Z</math> 进行干预的时候，仅凭 <math>Z</math> 自身的动力学就能正确的演化，不用再回到微观 <math>X</math> 层溯源。所以这就是宏观和微观之间因果闭合了，即宏观动力学在因果性上能做到独立的演化。因此，我们可以把宏观的结果 <math>\overrightarrow{Z_t}</math> 视为只来自于宏观的干预 <math>\overleftarrow{Z_t}</math> ，与微观 <math>\overleftarrow{X_t}</math> 无关。
<br/>
<br/>
上面所述的因果闭合的建模基于动力学的因果态，强调因果的概念。我们也可以关注计算力学的另一方面，即计算与预测。
上面所述的因果闭合的建模基于动力学的因果态，强调因果的概念。我们也可以关注计算力学的另一方面，即计算与预测。
因果态对 <math>\overrightarrow{Z_t}</math> 预测能力可以写成信息论的形式，即变量对 <math>\overrightarrow{Z_t}</math> 提供的互信息。<math>Z_t</math> 本身的ϵ-机器和 <math>Z_t = f(X_t)</math> 之间的υ-机器的等价关系可以写成：
<math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>
<math>I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t} ; \overrightarrow{Z_t})</math>
这说明了，宏观的 <math>\overleftarrow{Z_t}</math> 和微观的 <math>\overleftarrow{X_t}</math> 给 <math>\overrightarrow{Z_t}</math> 提供的信息量是一样的。所以，<math>\overleftarrow{X_t}</math> 并不会给 <math>\overrightarrow{Z_t}</math>提供额外的信息量和额外的预测性。
这说明了，宏观的 <math>\overleftarrow{Z_t}</math> 和微观的 <math>\overleftarrow{X_t}</math> 给 <math>\overrightarrow{Z_t}</math> 提供的信息量是一样的。所以，信息闭合是指，对于一个粗粒化后的宏观过程，已知其自身过去的信息 <math>\overleftarrow{Z_t}</math> 就足以进行最优预测，进一步引入底层（微观）<math>\overleftarrow{X_t}</math> 信息也不能提升预测能力——也就是说，微观的信息 <math>\overleftarrow{X_t}</math> 对宏观未来 <math>\overrightarrow{Z_t}</math> 的预测是冗余的。所谓一个尺度在某某方面闭合，便是在说这个尺度上系统可以“自给自足”，不需要再考虑其他尺度。
虽然定义方式不一样，但是我们不难看出，根据跨尺度因果态介绍中的推断2，因果闭合和信息闭合这两个对 <math>Z_t = f(X_t)</math> 的条件是等价的：由于<math>I(U_t ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>，所以<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。
虽然定义方式不一样，但是我们不难看出，根据跨尺度因果态介绍中的推断2，因果闭合和信息闭合这两个对 <math>Z_t = f(X_t)</math> 的条件是等价的：由于<math>I(U_t ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>，所以<math>I(U_t ; \overrightarrow{Z_t}) = I( \overleftarrow{X_t}; \overrightarrow{Z_t}) = I( \overleftarrow{Z_t} ; \overrightarrow{Z_t}) = I(E'_t ; \overrightarrow{Z_t})</math>。
另外，当信息闭合时也满足：
另外，当信息闭合时也满足：
<math>
<math>
I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t}) = I(\overleftarrow{Z_t}, \overleftarrow{X_t} ; \overrightarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) = I(\overleftarrow{X_t} ; \overrightarrow{Z_t}) - I(\overrightarrow{Z_t} ; \overleftarrow{Z_t}) = 0
I(\overrightarrow{Z_t}; \overleftarrow{X_t} | \overleftarrow{Z_t})
</math>
</math>
===计算闭合 Computational Closure===
===计算闭合 Computational Closure===
定义 <math>E_t</math> 和 <math>E'_t</math> 分别为 <math>X</math> 和 <math>Z</math> 的ϵ-机器的因果态。
定义 <math>Z</math> 的ϵ-机器为计算闭合，当满足：存在粗粒化函数 <math>f^*</math>使得<math>E'_t = f^*(E_t)</math>，其中<math>E_t</math> 和 <math>E'_t</math> 分别为 <math>X</math> 和 <math>Z</math> 的ϵ-机器的因果态。
<math>E'_t = f^*(E_t)</math>
也就是说， <math>E_t</math> 和 <math>E'_t</math> 之间存在一个粗粒化的（一对一或多对一）映射关系。同样的，<math>X</math> 和 <math>Z</math> 之间也存在粗粒化的映射关系，所以我们可以看到这四个变量之间的关系可以归结于如下两条从 <math>X</math> 到 <math>E'</math> 的路径：
也就是说， <math>E_t</math> 和 <math>E'_t</math> 之间存在一个粗粒化的（一对一或多对一）映射关系。同样的，<math>X</math> 和 <math>Z</math> 之间也存在粗粒化的映射关系，所以我们可以看到这四个变量之间的关系可以归结于如下两条从 <math>X</math> 到 <math>E'</math> 的路径：
我们把 <math>f</math> 和 <math>f^*</math> 视作粗粒化算子，<math>\epsilon</math> 和 <math>\epsilon'</math> 视作因果态算子，那么我们看到两条路径中的粗粒化算子和因果态算子是可交换的。
我们把 <math>f</math> 和 <math>f^*</math> 视作粗粒化算子，<math>\epsilon</math> 和 <math>\epsilon'</math> 视作因果态算子，那么我们看到两条路径中的粗粒化算子和因果态算子是可交换的。
上面提到过ϵ-机器可以看作最小解释模型，描述了动力学的机制。所以，因果态空间 <math>E</math> 和 <math>E'</math> 可以看作是动力学的‘机制空间’。而计算闭合的一个意义就是指出，这种动力学不仅在本来的变量/状态空间中能够被粗粒化 <math>f</math> ，而且动力学的机制也能够被粗粒化 <math>f^*</math>。所以，当计算闭合时，宏观 <math>Z</math> 空间的机制能通过粗粒化微观 <math>X</math> 空间的机制而获得。
对于一台机器，我们肯定希望它的宏观的计算过程要更加的简洁，也就是说宏观的ϵ-机器最好是微观的ϵ-机器的一种粗粒化。难道宏观机器还可以不是微观机器的粗粒化吗？粗粒化意味着宏观变量是微观变量的单射。这个映射过程可能引入更多的噪音，导致宏观过程的因果态反而比微观的还要多。我们看下面这样一个例子：
考虑一个马尔可夫链 <math>X</math>，有三个状态 <math>a</math>、<math>b</math> 和 <math>c</math>，<math>p(a,i)=p(b,i) > 0, \forall i</math>，<math>p(c,b)=0</math>，且 <math>p(b,a) \neq p(c,a)</math>。这样，微观ϵ-机器只有两个因果态，<math>\{a,b\}</math> 和 <math>c</math>。
假设我们的粗粒化分组方案为<math>\{a, \{b,c\}\}</math>，即<math>Z_t = A\ \text{if}\ X_t = a; Z_t = B\ \text{if}\ X_t = b\ or\ c</math>。 可以证明当 <math>Z</math> 连续处于 <math>B</math> 状态的时间越长，<math>X_t = c</math> 的概率就越高（因为 的转移被禁止），所以 <math>Z</math> 不是马尔可夫的。由于 <math>p(b,a) \neq p(c,a)</math>，因此 <math>Z</math> 的ϵ-机器需要区分以不同长度的 <math>B</math> 结尾的历史，例如 <math>\{A, (BA), (BBA), (BBBA)\}</math> 。所以， <math>E'</math> 的因果态数量多于 <math>E</math> 的因果态数量，因此 <math>E'</math> 不可能是 <math>E</math> 的粗粒化。
我们本以为，把底层系统用机器描述后，宏观层的ϵ-机可能只需把底层机器的状态合并即可。但事实远非如此。在这个例子中，原始系统有3个状态，但因为和看起来完全一样，所以微观机器只需要区分 和 两种状态。但宏观的粗粒化选择却是，把和映射到一个宏观状态上。因为底层动力学的特殊性，想预测下一个何时出现，宏观ϵ-机需要记住最近连续出现了几个。也就是说，'''宏观行为实际上增加了记忆长度'''，需要无穷多个不同的因果态，而不仅仅是简单的两种状态。所以，这并不是一个好的、满足计算闭合要求的粗粒化方案。
如果满足计算闭合的要求，我们就可以从计算模型的角度对一个系统进行多尺度建模。在考虑多尺度建模的时候，我们只需要关注各个尺度机器上的粗粒化过程即可。
计算闭合与前面的因果闭合/信息闭合之间的关系是：如果一个粗粒化函数 <math>Z_t = f(X_t)</math> 是因果闭合/信息闭合的，那它一定是计算闭合的。证明如下：
首先，υ-机器的因果态 <math>U_t</math> 是 微观 ϵ-机器的因果态 <math>E_t</math> 的一种粗粒化方案（证明请参照论文<ref name="closure" /> Proposition 2）。而且，因果闭合的条件说明了，<math>U_t</math> 等于宏观 ϵ-机器的因果态 <math>E'_t</math>。所以，<math>E'_t</math> 和 <math>E_t</math> 之间也应该存在粗粒化方案，满足计算闭合的条件。
在论文<ref name=":Geiger">B. C. Geiger and C. Temmel, “Lumpings of Markov chains, entropy rate preservation, and higher-order lumpability,” J. Appl. Probab., vol. 51, no. 4, pp. 1114–1132, Dec. 2014, extended version: arXiv:1212.4375.</ref>中，作者给出了以下定理：
在论文<ref name=":Geiger">B. C. Geiger and C. Temmel, “Lumpings of Markov chains, entropy rate preservation, and higher-order lumpability,” J. Appl. Probab., vol. 51, no. 4, pp. 1114–1132, Dec. 2014, extended version: arXiv:1212.4375.</ref>中，作者给出了以下定理：
# 一个不可约irreducible，和非周期性aperiodic 的马尔科夫链 <math>X</math> ，而且 <math>Z_t=f(X_t)</math> 是对 <math>X</math> 的状态空间上定义的粗粒化函数，那 <math>X</math> 的强成块性 '''在其达到稳态stationary分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|X_t) </math>。
# 一个不可约irreducible，和非周期性aperiodic 的马尔科夫链 <math>X</math> ，<math>Z_t=f(X_t)</math> 是对 <math>X</math> 的状态空间上定义的粗粒化函数，那 <math>X</math> 的强成块性 '''在其达到稳态stationary分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|X_t) </math>。
# <math>X</math> 的弱成块性 '''在其达到稳态分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|Z_{<t}) </math>。
# <math>X</math> 的弱成块性 '''在其达到稳态分布时''' 等价于 <math>H(Z_{t+1}|Z_t) = H(Z_{t+1}|Z_{<t}) </math>。