更改

通过某种划分（ partition），我们可以找到观测到的状态（可以称之为微观态）与智能体压缩后得到的隐空间上的状态（可以称为宏观态）之间的对应关系。划分为一种映射，<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，其中<math>\mathcal{R} </math>是微观状态空间的子集的集合，要满足其元素彼此互斥，而且所有元素的并集等于<math> \overset{\leftarrow}{S}</math>。通过划分操作得到的每个子集都可以被视为对应着一个宏观态。

通过某种划分（ partition），我们可以找到观测到的状态（可以称之为微观态）与智能体压缩后得到的隐空间上的状态（可以称为宏观态）之间的对应关系。划分为一种映射，<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，其中<math>\mathcal{R} </math>是微观状态空间的子集的集合，要满足其元素彼此互斥，而且所有元素的并集等于<math> \overset{\leftarrow}{S}</math>。通过划分操作得到的每个子集都可以被视为对应着一个宏观态。

[[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]]

[[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]]

上图为某种划分的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类状态的子集<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。

上图为某种划分的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类宏观态的子集<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。

对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的状态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t}  </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义它们具有相同的因果态（casual state）。

对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的宏观态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t}  </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义它们具有相同的因果态（casual state）。

因果态的划分映射可以记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>{ \epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} } </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。

因果态的划分映射可以记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>{ \epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} } </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。

为什么我们要关注因果态这样一种特定的宏观态呢？下面是因果态的两个主要性质，其体现出因果态是一种最理想的宏观态：

为什么我们要关注因果态这样一种特定的宏观态呢？下面是因果态的两个主要性质，其体现出因果态是一种最理想的宏观态：

'''性质1（因果态具有最大预测性）'''：对于所有划分得到的状态<math>\mathcal{R} </math>和正整数<math>L </math>，都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为长度为<math>L </math>的未来序列集合，<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>在所有的划分集合<math>\mathcal{R} </math>中，它的预测能力最强，证明过程如下：

'''性质1（因果态具有最大预测性）'''：对于宏观态<math>\mathcal{∀R} </math>和正整数<math>L </math>，都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为长度为<math>L </math>的未来序列集合，所有可能的历史序列记作<math> \overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>在所有的划分宏观态集合<math>\mathcal{R} </math>中，它的预测能力最强，证明过程如下：

<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})\} </math>

<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})\} </math>

<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>

<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>

'''性质2（因果态具有最小随机性）'''：设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的状态，则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>，都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>，其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。可以理解为在相同预测能力的前提下，因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在划分得到的状态集合[math]\displaystyle{ \mathcal{R} }[/math]的所有类型中，它的随机性最小。

'''性质2（因果态具有最小随机性）'''：设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的状态，则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>，都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>，其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。可以理解为在相同预测能力的前提下，因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在宏观态集合[math]\displaystyle{ \mathcal{R} }[/math]的所有类型中，它的随机性最小。

用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意状态对它自己下一时刻的互信息中，其中因果态的互信息最大。

用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意宏观态对它自己下一时刻的互信息中，其中因果态的互信息最大。

若想更深入的理解因果态的性质可以阅读Cosma Rohilla Shalizi 和James Crutchfield合写的一篇论文<ref name=":4">Shalizi, C. R.. & Crutchfield, J. P. (2001). Computational Mechanics: Pattern and Prediction, Structure and

若想更深入的理解因果态的性质可以阅读Cosma Rohilla Shalizi 和James Crutchfield合写的一篇论文<ref name=":4">Shalizi, C. R.. & Crutchfield, J. P. (2001). Computational Mechanics: Pattern and Prediction, Structure and

</math>的最简单形式，且在该模型中尽量减少其复杂性。<math>

</math>的最简单形式，且在该模型中尽量减少其复杂性。<math>

\left\|⋅\right\|

\left\|⋅\right\|

</math>这个符号表示对模型复杂度的量化。由于内部模型作为一种图灵机，本身也是用字符串（因果态）来描述，所以可以用长度、香农熵等指标来度量内部模型的复杂度。当我们使用香农熵来刻画内部模型的复杂度时，我们可以给出对于观测序列来说，统计复杂度的一个可计算的定义<ref name=':15' />：

</math>这个符号表示对模型复杂度的量化。由于内部模型作为一种图灵机，本身也是用字符串（因果态）来描述，所以可以用长度、香农熵等指标来度量内部模型的复杂度。当我们使用香农熵来刻画内部模型的复杂度时，我们可以给出对于观测序列来说，伯努利图灵机定义下的统计复杂度通常是不可计算的，但它有一个等价的关于香农熵的可计算定义为<ref name=':15' />：

<math>C_\mu(\mathcal{x})\equiv H[\mathcal{S}] </math>，其中<math>\mathcal{S} </math>为观测数据<math>\mathcal{x} </math>的因果态集合。

<math>C_\mu(\mathcal{x})\equiv H[\mathcal{S}] </math>，其中<math>\mathcal{S} </math>为观测数据<math>\mathcal{x} </math>的因果态集合。

===模型重构===

===模型重构===

[[文件:层次机器示意图1.jpg|居中|无框|600x600像素|WU]]

[[文件:层次机器示意图1.jpg|居中|无框|600x600像素|WU]]

上表为因果时间序列建模层级，展示了可能的前四个层级，但这个过程是开放式的，可以不止四个层级，每个层级根据其模型类别定义。模型本身由状态（圆圈或方块）和转移（标记箭头）组成，每个模型都有一个独特的起始状态，由一个内嵌的圆圈表示。数据流本身是最低层级，通过将序列测量分组为重复子序列，从数据流中构建出深度为的树。下一个层级的模型，即具有状态和转移的[[有限自动机]]（Finite Automaton，简称FA），通过将树节点分组从树中重构。所示的最后一个层级，字符串生成机器（Pattern Matching，简称PM），通过将FA状态分组并推断出操控寄存器中字符串的生成规则来构建。

上表为因果时间序列建模层级，展示了可能的前四个层级，但这个过程是开放式的，可以不止四个层级，每个层级根据其模型类别定义。模型本身由状态（圆圈或方块）和转移（标记箭头）组成，每个模型都有一个独特的起始状态，由一个内嵌的圆圈表示。数据流本身是最低层级，通过将序列测量分组为重复子序列，从数据流中构建出深度为<math>D</math>的树。下一个层级的模型，即具有状态和转移的[[有限自动机]]（Finite Automaton，简称FA），通过将树节点分组从树中重构。所示的最后一个层级，字符串生成机器（Pattern Matching，简称PM），通过将FA状态分组并推断出操控寄存器中字符串的生成规则来构建。

考虑一个由<math>m</math>个测量结果构成的数据流<math>s</math>，如果它是周期性的，那么第0级（Level 0），即测量结果本身，它的表示方法依赖于<math>m</math>。在极限<math>m\to\infty </math>情况下，第0级会产生一个无穷大的表示。当然，第0级是最准确的数据模型，尽管它几乎没有任何帮助，几乎不值得被称为“模型”。相比之下，一个深度为<math>D</math>的树将给出一个有限表示，即使数据流的长度是无限的，只要数据流具有周期小于等于<math>D</math>。这个树有长度为<math>D</math>的路径，由数据流的周期给出。这些路径中的每一个都对应于<math>s</math>中重复模式的一个不同阶段。如果<math>s</math>是非周期性的，那么树模型类将不再是有限的，并且与<math>m</math>无关。 事实上，如果数据流具有正熵（<math>h_μ＞0 </math>），那么树的大小将呈指数增长，<math>\approx\left\|\mathcal{A}\right\|^{Dh_{\mu}} </math> ，因为<math>D</math>的增加解释了<math>s</math> 中长度<math>D</math>不断增加的子序列。粗略地说，如果数据流具有随时间衰减得足够快的相关性，则下一级（随机）有限自动机将给出有限表示。状态数<math>\left\|\mathrm{V}\right\| </math>表示数据流中的内存量，因此表示<math>s</math>中测量值之间存在相关性的典型时间。但也有可能第 2 级不提供有限表示。那么就需要另一个级别（第 3 级）。

考虑一个由<math>m</math>个测量结果构成的数据流<math>s</math>，如果它是周期性的，那么第0级（Level 0），即测量结果本身，它的表示方法依赖于<math>m</math>。在极限<math>m\to\infty </math>情况下，第0级会产生一个无穷大的表示。当然，第0级是最准确的数据模型，尽管它几乎没有任何帮助，几乎不值得被称为“模型”。相比之下，一个深度为<math>D</math>的树将给出一个有限表示，即使数据流的长度是无限的，只要数据流具有周期小于等于<math>D</math>。这个树有长度为<math>D</math>的路径，由数据流的周期给出。这些路径中的每一个都对应于<math>s</math>中重复模式的一个不同阶段。如果<math>s</math>是非周期性的，那么树模型类将不再是有限的，并且与<math>m</math>无关。 事实上，如果数据流具有正熵（<math>h_μ＞0 </math>），那么树的大小将呈指数增长，<math>\approx\left\|\mathcal{A}\right\|^{Dh_{\mu}} </math> ，因为<math>D</math>的增加解释了<math>s</math> 中长度<math>D</math>不断增加的子序列。粗略地说，如果数据流具有随时间衰减得足够快的相关性，则下一级（随机）有限自动机将给出有限表示。状态数<math>\left\|\mathrm{V}\right\| </math>表示数据流中的内存量，因此表示<math>s</math>中测量值之间存在相关性的典型时间。但也有可能第 2 级不提供有限表示。那么就需要另一个级别（第 3 级）。

1. 在最低水平上，设定0级模型为描述数据本身，即<math>M_0=s</math>，将初始层级<math>l</math>设置为比0级高一级，即<math>l=1</math>；

1. 在最低水平上，设定0级模型为描述数据本身，即<math>M_0=s</math>，将初始层级<math>l</math>设置为比0级高一级，即<math>l=1</math>；

2. 从更低模型重构模型<math>M_l=M_{l-1}/∼</math>，其中<math>∼</math>表示<math>l</math>级上的因果等价类；操作的含义是，在<math>l-1</math>级上被区别对待的状态在<math>l</math>级上可以被视为同一个因果态。此时<math>\mathcal{S} </math>和<math>T</math>都更新了；

2. 从更低模型重构模型<math>M_l=M_{l-1}/∼</math>，其中<math>∼</math>表示<math>l</math>级上的因果等价类；操作的含义是，在<math>l-1</math>级上被区别对待的状态在<math>l</math>级上可以被视为同一个因果态。此时因果态集合<math>\mathcal{S} </math>和转移概率映射集合<math>T</math>都更新了；

3. 收集更多的数据，增大序列长度<math>L </math>，得到更加精确的一系列模型<math>M_l</math>；

3. 收集更多的数据，增大序列长度<math>L </math>，得到更加精确的一系列模型<math>M_l</math>；