812
个编辑
更改
跳到导航
跳到搜索
第216行：
第216行： − [[因果态]]则是一个更强的衡量粗粒化后的马尔可夫链是否还保留可预测性的概念。这一性质并不只要求处于同一粗粒化分组的状态对各个宏观块的转移概率相同，而且还要求这些状态对'''整个未来（微观）状态序列'''具有相同的预测分布。也就是说，因果态把所有“对未来预测等价”的历史归为一类。对于一阶马尔科夫链，如果两个微观状态属于同一个因果态，那么它们的未来分布相同，因而自然也会满足成块性所要求的宏观转移一致；但反过来，一个成块划分未必是因果态划分，因为它可能只保留了宏观转移概率，而丢掉了预测微观未来所需的信息。所以，'''因果态是较成块性更严格的概念'''。+ 第222行：
第222行： − + − + − \overleftarrow{s_t}\sim \overleftarrow{s_{t'}} − \quad \Longleftrightarrow \quad − P(\overrightarrow{s_t}\mid \overleftarrow{s_t}) − = − P(\overrightarrow{s_{t'}}\mid \overleftarrow{s_{t'}}). − − 也就是说，若两段历史对未来序列给出的预测分布完全相同，它们就属于同一个因果态。因果态可以理解为一种“预测等价类”：它只保留预测未来所需的信息，而把对未来预测没有影响的历史差异压缩掉。由因果态及其转移结构构成的最小预测模型，通常称为 <math>\epsilon</math>-机器。+ − 对于一阶马尔科夫链，情况会大大简化。因为马尔科夫链满足+ + − + + + − 所以预测未来不再需要完整历史，只需要当前状态。此时，因果态可以直接定义在微观状态上：若两个微观状态 <math>s_i</math> 和 <math>s_j</math> 对下一步状态给出的转移分布完全相同，则它们属于同一个因果态： − <math>+ − s_i \sim s_j − \quad \Longleftrightarrow \quad − P(X_{t+1}=\cdot \mid X_t=s_i) − = − P(X_{t+1}=\cdot \mid X_t=s_j). − </math> − 用转移矩阵 <math>P</math> 表示，就是 <math>P</math> 的第 <math>i</math> 行和第 <math>j</math> 行完全相同：+ − + − + − − P_{i\cdot}=P_{j\cdot}. − 因此，在一阶马尔科夫链中，因果态划分就是把具有相同出转移分布的微观状态合并起来。它比成块性更严格：成块性只要求同组状态转移到各个宏观组的总概率相同，而因果态要求同组状态转移到每一个微观状态的概率都相同。换句话说，成块性保留的是宏观未来的预测能力，因果态保留的是微观未来的预测能力。+ − 若考虑 <math>K</math> 阶马尔科夫链，也可以把长度为 <math>K</math> 的历史片段 <math>(X_{t-K+1},\ldots,X_t)</math> 当作新的状态。此时因果态仍然是预测等价类，只是等价关系定义在这些长度为 <math>K</math> 的历史状态上。一般计算力学中的无限历史定义，可以看作是这个思想在非有限阶随机过程中的推广。+ − 为什么我们要关注因果态这样一种特定的宏观态？对于马尔科夫链来说，因果态的意义可以概括为两点：最大预测性和最小随机性。+ − 微观最大预测性是指，在将微观状态粗粒化为宏观状态后，因果态保留了预测下一步微观状态所需的全部信息。设 <math>C_t=\epsilon(X_t)</math> 表示当前微观状态所属的因果态，则有+ − + − P(X_{t+1}\mid X_t)=P(X_{t+1}\mid C_t). − − 也就是说，只要知道当前因果态，就和知道当前微观状态一样，能够给出同样的下一步预测分布。对于任意其他粗粒化 <math>R_t=f(X_t)</math>，通常都有+ − <math>+ − H(X_{t+1}\mid R_t)\geq H(X_{t+1}\mid C_t). − </math> − 因此，因果态是在所有状态粗粒化中最能保留微观预测能力的划分之一。+ − − ====最小随机性==== − 因果态不仅预测能力强，而且在保持这种预测能力的前提下尽可能简洁。它不会把预测未来所需的信息丢掉，也不会保留对预测没有帮助的多余微观差异。+ − 对于一阶马尔科夫链来说，如果两个状态的转移矩阵行完全相同，那么它们对未来的预测没有差别，应当被合并；如果两行不同，那么它们对下一步状态的预测不同，就不应属于同一个因果态。因此，因果态可以看作“在不损失微观预测能力的前提下，对状态空间做出的最小充分划分”。+
无编辑摘要
上一节的成块性关心的是：在给定状态划分后，宏观过程是否仍然是一条封闭的马尔科夫链。它要求同一宏观块内的微观状态，对各个宏观块具有相同的总转移概率，因此保证的是'''宏观层面的可预测性'''：知道当前宏观态，就足以预测下一步宏观态。
上一节的成块性关心的是：在给定状态划分后，宏观过程是否仍然是一条封闭的马尔科夫链。它要求同一宏观块内的微观状态，对各个宏观块具有相同的总转移概率，因此保证的是'''宏观层面的可预测性'''：知道当前宏观态，就足以预测下一步宏观态。
因果态则是一个更强的预测性概念。它并不只要求同组状态对各个宏观块的转移概率相同，而是要求这些状态对'''整个未来（微观）状态序列'''具有相同的预测分布。也就是说，因果态把所有“对未来预测等价”的历史归为一类。对于一阶马尔科夫链，如果两个微观状态属于同一个因果态，那么它们的未来分布相同，因而自然也会满足成块性所要求的宏观转移一致；但反过来，一个成块划分未必是因果态划分，因为它可能只保留了宏观转移概率，而丢掉了预测微观未来所需的信息。所以，'''因果态是较成块性更严格的概念'''。
此部分为对因果态的简略介绍，因果态相关详情请参照[[计算力学]]词条。
此部分为对因果态的简略介绍，因果态相关详情请参照[[计算力学]]词条。
===定义===
===定义===
在[[计算力学]]中，因果态原本是针对一般平稳随机过程定义的。对于一般随机过程，当前时刻以前的全部历史 <math>\overleftarrow{s_t}</math> 都可能影响未来，因此因果态会把具有相同未来预测分布的历史归为一类：
在[[计算力学]]中，状态被理解为智能体接收到的全部历史信息，因此系统从过去到未来的变化被描述为一个离散的平稳[[随机过程]]。在一般情形下，过去的历史都可能影响对未来的预测。因此，为保证通用性，因果态原来的定义适用于无限长的历史序列上，而不预设系统具有马尔科夫性。
<math>
本文讨论的是马尔科夫链的状态粗粒化。若系统是一个 <math>K</math> 阶马尔科夫链（<math>t</math> 时刻之后的状态分布由前 <math>K</math> 个时刻的状态决定），则预测未来只需保留最近 <math>K</math> 个状态，可以把这段历史片段看作新的状态。对于本文的一阶马尔科夫链，这段历史片段就是当前微观状态 <math>s_t</math>。记所有可能的微观状态为 <math>S</math>，下一时刻状态为 <math>s_{t+1}\in S</math>，因果态就可以直接定义在 <math>S</math> 上。
</math>
因果态这种宏观态划分方法，具有最强的预测能力。形式化定义如下：
对于任意微观状态 <math>s_i</math> 和 <math>s_j</math>，若给定当前状态 <math>s_i</math> 和 <math>s_j</math> 时，下一时刻状态的分布完全相同，则称 <math>s_i</math> 与 <math>s_j</math> '''等价'''，也叫'''预测等价性'''（predictive equivalence），记为：
{{NumBlk|:|
<math>
<math>
P(X_{t+1}\mid X_t,X_{t-1},\ldots)=P(X_{t+1}\mid X_t),
s_i \sim s_j \triangleq P(S_{t+1}=s_k|S_t=s_i ) = P(S_{t+1}=s_k | S_t=s_j ),\quad \mathrm{for~all~}s_k\in S
</math>
</math>
|{{EquationRef|4}}}}
[[计算力学]]认为，包括人类在内的智能体，每时每刻都在对周围环境观察，得到大量的观测数据，并在自己的内部（大脑中）构建简洁的机制来预测观测数据的变化（一种隐马尔科夫模型）。所以，引入了 ϵ-machine（ϵ-机器）的概念来描述这种机制。
ϵ-机器根据当前时间步的状态，来预测下一时刻状态。其工作机制是：根据 <math>s_t</math> 而判断 <math>t</math> 时刻系统处于哪个因果态 <math>E_t</math> ，并根据该因果态预测下一时刻状态 <math>s_{t+1}</math>。
<math>
因果态可定义为ϵ-机器的映射 <math>\epsilon{:}S\mapsto2^S</math>，<math>E = \{E_t\}_{t \in \mathbb{N} }</math>，<math>E_t = \epsilon( s_t )</math>，满足：<math>
s_i \sim s_j
\epsilon(s_i)\equiv\{s_j|\mathrm{P}(S_{t+1}=s_k\mid S_t=s_i)=\mathrm{P}(S_{t+1}=s_k\mid S_t=s_j)，\mathrm{for~all~}s_k\in S,s_j\in S\}
\quad \Longleftrightarrow \quad
</math>
</math>
所有的'''因果态'''的集合由预测等价关系"[math]\sim[/math]"诱导的商集定义：[math]\mathcal{S}=S/\sim[/math]
如上图所示<ref name="crutchfield_1994">{{cite journal |last1=Crutchfield |first1=James P. |title=The Calculi of Emergence: Computation, Dynamics, and Induction |journal=Physica D: Nonlinear Phenomena |volume=75 |year=1994 |pages=11-54 |url=https://dl.acm.org/doi/10.1016/0167-2789%2894%2990273-9}}</ref>，<math>t_9</math> 和 <math>t_{13}</math> 时刻对下一时刻状态的预测分布相同，处于同一因果态；<math>t_{11}</math>时刻预测分布不同，处于不同的因果态。
<br/>
<br/>
===因果态的主要性质===
===因果态的主要性质===
为什么我们要关注因果态这样一种特定的宏观态？下面是因果态的两个主要性质，它们体现了因果态为何是一种理想的宏观态：
====微观最大预测性====
====微观最大预测性====
微观最大预测性是指，在将微观状态粗粒化为宏观状态后，我们只用宏观状态就能预测'''后续'''的微观状态。
<math>
具体来说，只需要知道宏观状态 <math>A^{(t)}</math>，就可以最大化 <math>s^{(t+1)}</math> 的预测效果。
</math>
对于宏观态 <math>\mathcal{\forall R}</math>，都有 <math>H[S_{t+1}|\mathcal{R}]\geq H[S_{t+1}|\mathcal{S}]</math>，<math>S_{t+1}</math> 为下一时刻的微观状态变量，<math>\mathcal{S}</math> 为因果态划分。<math>H[S_{t+1}|\mathcal{R}]</math> 和 <math>H[S_{t+1}|\mathcal{S}]</math> 是 <math>S_{t+1}</math> 的[[条件熵]]。可以理解为因果态集合 <math>\mathcal{S}</math> 是在所有的划分宏观态集合 <math>\mathcal{R}</math>中，预测能力最强的一种宏观态，证明过程请参照[[计算力学]]词条。
====最小随机性====
对于所有的宏观态 <math>\hat{\mathcal{R}}</math> 和 <math>\hat{\mathcal{R}}^{\prime}</math>，都有 <math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}]</math>，其中 <math>\hat{\mathcal{R}}^{\prime}</math> 和 <math>\mathcal{S}^{\prime}</math> 分别是该过程的下一时刻状态和下一时刻因果态。
该性质可以被理解为在相同预测能力的前提下，因果态集合 [math]\displaystyle{ \mathcal{S} }[/math] 在所有的宏观态 [math]\displaystyle{ \mathcal{R} }[/math] 的集合中，随机性最小。
用[[互信息]]的角度去理解的话，上式等价于 <math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}})</math>，可以理解为因果态为所有的与它自己的下一时刻的互信息中的最大的一个宏观态。
<br/>
<br/>