812
个编辑
更改
跳到导航
跳到搜索
第446行：
第446行： − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→因果态
=因果态=
=因果态=
因果态相关详情请参照[[计算力学]]词条。
因果态相关详情请参照[[计算力学]]词条。在计算力学中，状态可以被理解为智能体所接收到的全部历史信息，即历史信息即状态，所以它将系统从过去到未来的变化用一个离散的稳定[[随机过程]]描述，状态的取值空间则为双无限序列可数集合<math>\overleftrightarrow{S}=\cdots s_{-2} s_{-1} s_0 s_1 s_2\cdots</math>，也就是说，一个状态是一个无限长的时间序列。基于当前的时刻<math>t</math>，我们可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>\overleftarrow{s_t}=\cdots s_{t-3} s_{t-2} s_{t-1} </math>和单侧后向序列<math>\overrightarrow{s_t}=s_t s_{t+1} s_{t+2} s_{t+3}\cdots</math>两个部分，所有可能的未来序列<math>\overrightarrow{s_t}</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。某一个时刻的状态指的是截止到当前时刻的历史序列。
而因果态相当于是对状态的一种粗粒化描述。这样的状态定义没有假设系统的马尔科夫性，而我们为了把因果态和马尔科夫链的粗粒化理论进行比较，可以定义马尔科夫链的因果态。首先，我们假设系统是一个K阶的马尔科夫链，即系统在<math>t</math>时刻的状态分布是由前K个时刻的状态决定的。所以，我们能够重新定义<math> \overleftarrow{S}</math>为<math> S^K</math>，而<math>\overleftarrow{S}</math>为<math> S</math>。
<math>
Pr(s^{(t)} | s^{(t-1)}, ... , s^{(0)} ) = Pr(s^{(t)} | s^{(t-1)}, ... , s^{(t-K)} )
</math>
对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的宏观态称为[[因果态]]。下面，我们给出因果态的形式化定义：
对于任意时刻<math>t </math> 和<math>t^{'} </math>，在给定过去状态<math>\overleftarrow{s_t} </math>的条件下，未来状态<math> \overrightarrow{s}</math> 的分布与给定过去状态<math>\overleftarrow{s_{t^{'}}}</math>的条件下，未来状态<math>\overrightarrow{s}</math> 的分布完全相同。那么我们就称<math>\overleftarrow{s_t}</math>与<math>\overleftarrow{s_{t^{'}}}</math>'''等价'''，记为：<math>\overleftarrow{s_t}\sim \overleftarrow{s_{t^{'}}} </math>，或简记为<math>t\sim t^{'} </math>，其中“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫'''预测等价性'''（predictive equivalence），可以用公式表示为：
<math>t\sim t^{'}\equiv \overleftarrow{s_{t^{'}}}\sim \overleftarrow{s_t} \triangleq P(\overrightarrow{s}|\overleftarrow{s_t} )=P(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} )</math>，
也就是说，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则它们对应的状态就都具有一种等价性，这就是因果态定义的来源。
我们可以直接将因果态定义为一个从状态集到状态子集的映射，即<math>\epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集，且[math]\epsilon[/math]需要满足如下条件：
<math>
\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\}
</math>
其中，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。
所有的'''因果态'''的集合，可以由预测等价关系"[math]\sim[/math]"诱导的对状态空间的一种划分来定义，即状态集与等价关系的商集：[math]\mathcal{S}=\stackrel{\leftarrow}{S}/\sim[/math]，其中<math>\mathcal{S}</math>为因果态划分。
=====举例说明=====
为了说明因果态的概念，我们绘制下面的示意图以举例说明：
[[文件:因果态的定义.jpg|居中|无框|400x400px|替代=]]
如上图所示<ref name="crutchfield_1994"/>，左侧的数字代表<math>t</math>时刻的状态序列，右侧的箭头形状代表对未来状态预测的分布，可以观察到<math>t_9</math>和<math>t_{13}</math>时刻的箭头形状完全相同，说明它们对未来状态预测的分布相同，则处于相同的因果态；同样的道理，在<math>t_{11}</math>时刻，它的箭头形状与<math>t_9</math>和<math>t_{13}</math>时刻不同，则处于不同的因果态。
=== 因果态的主要性质 ===
为什么我们要关注因果态这样一种特定的宏观态呢？下面是因果态的两个主要性质，能够体现出因果态是一种最理想的宏观态：
====最大预测性====
'''性质1（因果态具有最大预测性）'''：对于宏观态<math>\mathcal{∀R} </math>和正整数<math>L </math>，都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为长度为<math>L </math>的未来序列集合，<math>\mathcal{S}</math>为因果态划分，所有可能的历史序列记作<math> \overleftarrow{S}</math>。<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>是在所有的划分宏观态集合<math>\mathcal{R} </math>中，预测能力最强的一种宏观态，证明过程如下：
根据因果态的定义可知：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})\} </math>
上式等价于<math>\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s} |\mathcal{S}=\epsilon(\stackrel{\leftarrow}{s}))=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}) </math>
因为<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}]~=~H[\stackrel{\rightarrow}{S}^L|~\stackrel{\leftarrow}{S}] </math>，且<math>H[\stackrel{\to}{S}^L|\mathcal{R}] \geq H[\stackrel{\to}{S}^L|\stackrel{\leftarrow}{S}] </math>
所以<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>
====最小随机性====
'''性质2（因果态具有最小随机性）'''：设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的宏观态，则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>，都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>，其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。
该性质可以被理解为在相同预测能力的前提下，因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在所有的宏观态[math]\displaystyle{ \mathcal{R} }[/math]的集合中，随机性最小。
用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为因果态为所有的与它自己的下一时刻的互信息中的最大的一个宏观态。
若想更深入的理解因果态的性质可以阅读Cosma Rohilla Shalizi 和James Crutchfield合写的一篇论文<ref name=":4"></ref>，里面有因果态更多的性质和对应的形式化证明过程。
=不同粗粒化方法之间的异同=
=不同粗粒化方法之间的异同=