更改

因为智能体对外部环境的测量精度一般都是有限的，测量结果一般为时间序列上的离散值，可以把它当做限制在离散值、离散时间上的稳定随机过程（ Process）。随机过程中的所有序列集合是一个双无限序列的可数集合，记作<math>\overleftrightarrow{S}=⋯s_{-2} s_{-1} s_0 s_1 s_2…</math>。基于时间<math>t</math>可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>s_t^→=s_t s_{t+1} s_{t+2} s_{t+3}…</math>和单侧后向序列<math>s_t^←=⋯s_{t-3} s_{t-2} s_{t-1} s_t</math>两个部分，所有可能的未来序列<math>s_t^→</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。

因为智能体对外部环境的测量精度一般都是有限的，测量结果一般为时间序列上的离散值，可以把它当做限制在离散值、离散时间上的稳定随机过程（ Process）。随机过程中所有序列的集合是一个双无限序列可数集合，记作<math>\overleftrightarrow{S}=⋯s_{-2} s_{-1} s_0 s_1 s_2…</math>。基于时间<math>t</math>可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>s_t^→=s_t s_{t+1} s_{t+2} s_{t+3}…</math>和单侧后向序列<math>s_t^←=⋯s_{t-3} s_{t-2} s_{t-1} s_t</math>两个部分，所有可能的未来序列<math>s_t^→</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。

为了捕捉<math> \overset{\leftarrow}{S}</math>中的有序结构，按照一定的划分方法（ partitioni）将<math> \overset{\leftarrow}{S}</math>划分为若干个互斥且全面的子集，那么每个子集就是一个有效态（effective state），这些有效态的集合记作<math>\mathcal{R} </math>，划分方法可以是任意函数映射<math> η </math>，用公式表示为<math> \eta{:}\tilde{\mathbf{S}}\mapsto\mathcal{R}</math>，也可以将有效态理解为将<math> \overset{\leftarrow}{S}</math>中的某段序列粗粒化后得到的宏观态。

为了捕捉<math> \overset{\leftarrow}{S}</math>中的有序结构，按照一定的划分方法（ partitioni）将<math> \overset{\leftarrow}{S}</math>划分为若干个互斥且全面的子集，那么每个子集就是一个有效态（effective state），这些有效态的集合记作<math>\mathcal{R} </math>，划分方法可以是任意函数映射<math> η </math>，用公式表示为<math> \eta{:}\tilde{\mathbf{S}}\mapsto\mathcal{R}</math>，也可以将有效态理解为将<math> \overset{\leftarrow}{S}</math>中的某段序列粗粒化后得到的宏观态。