812
个编辑
更改
→定义
===定义===
===定义===
在[[计算力学]]中，状态被理解为智能体接收到的全部历史信息，因此系统从过去到未来的变化被描述为一个离散的平稳[[随机过程]]。状态空间为双（向）无限序列的集合 <math>\overleftrightarrow{S}=\{\cdots, s_{-2}, s_{-1}, s_0, s_1, s_2, \cdots\}</math>，即无限长的时间序列。基于当前时刻 <math>t</math>，我们可以将 <math>\overleftrightarrow{S}</math> 分为单侧前向序列 <math>\overleftarrow{s_t}=\{\cdots, s_{t-3}, s_{t-2}, s_{t-1}\}</math> 和单侧后向序列 <math>\overrightarrow{s_t}=\{s_t, s_{t+1}, s_{t+2}, s_{t+3},\cdots\}</math> 两部分。所有可能的未来序列 <math>\overrightarrow{s_t}</math> 形成的集合记作 <math>\overrightarrow{S}</math>，所有可能的历史序列 <math>\overleftarrow{s_t}</math> 形成的集合记作 <math>\overleftarrow{S}</math>。
因果态是一种对系统状态的粗粒化描述，并不预设系统具有马尔科夫性。为了把因果态和马尔科夫链的粗粒化理论进行比较，可以定义马尔科夫链的因果态：假设系统是一个<math>K</math>阶的马尔科夫链（系统在<math>t</math>时刻的状态分布由前 K 个时刻的状态决定），则可将 <math>\overleftarrow{S}</math> 重新定义为 <math>S^K</math>。
因果态是一种对系统状态的粗粒化描述，并不预设系统具有马尔科夫性。为了把因果态和马尔科夫链的粗粒化理论进行比较，可以定义马尔科夫链的因果态：假设系统是一个<math>K</math>阶的马尔科夫链（系统在<math>t</math>时刻的状态分布由前 K 个时刻的状态决定），则可将 <math>\overleftarrow{S}</math> 重新定义为 <math>S^K</math>。
因果态这种宏观态划分方法，具有最强的预测能力。形式化定义如下：
对于任意时刻 <math>t</math> 和 <math>t^{'}</math>，若给定过去状态 <math>\overleftarrow{s_t}</math> 和 <math>\overleftarrow{s_{t^{'}}}</math> 时，未来状态 <math>\overrightarrow{s}</math> 的分布完全相同，则称 <math>\overleftarrow{s_t}</math> 与 <math>\overleftarrow{s_{t^{'}}}</math> '''等价'''，也叫'''预测等价性'''（predictive equivalence），记为：
对于任意时刻 <math>t</math> 和 <math>t^{'}</math>，若给定过去状态 <math>\overleftarrow{s_t}</math> 和 <math>\overleftarrow{s_{t^{'}}}</math> 时，未来状态 <math>\overrightarrow{s}</math> 的分布完全相同，则称 <math>\overleftarrow{s_t}</math> 与 <math>\overleftarrow{s_{t^{'}}}</math> '''等价'''，也叫'''预测等价性'''（predictive equivalence），记为：
[[计算力学]]认为，包括人类在内的智能体，每时每刻都在对周围环境观察，得到大量的观测数据，并在自己的内部（大脑中）构建简洁的机制来预测观测数据的变化（一种隐马尔科夫模型）。所以，引入了 ϵ-machine（ϵ-机器）的概念来模拟这种机制。
ϵ-机器根据当前时间步的状态和历史记忆，来预测未来状态。其工作机制是：根据 <math>\overleftarrow{s_t}</math> 而判断 <math>t</math> 时刻系统处于哪个因果态 <math>E_t</math> ，并根据该因果态预测未来轨迹 <math>\overrightarrow{s_t}</math>。
因果态可定义为ϵ-机器的映射 <math>\epsilon{:}\overleftarrow{S}\mapsto2^{\overleftarrow{S}}</math>，<math>E = \{E_t\}_{t \in \mathbb{N} }</math>，<math>E_t = \epsilon( \overleftarrow{s_t} )</math>，满足：<math>
\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\}
\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\overrightarrow{S}=\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\}
</math>
</math>