115
个编辑
更改
跳到导航
跳到搜索
第130行：
第130行： − 智能体对外部环境的测量精度一般都是有限的，无法直接识别外部环境的真实状态，需要对测量结果进行处理，识别其真实状态，以增强智能体对外部环境的预测能力。若将测量对象过去未来的所有信息视为限制在离散值、离散时间上的稳定[[随机过程]]。用双无限序列可数集合<math>\overleftrightarrow{S}=⋯s_{-2} s_{-1} s_0 s_1 s_2…</math>表示，则测量结果为<math>\overleftrightarrow{S}</math>中任意随机变量的序列。基于时间<math>t</math>可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>s_t^→=s_t s_{t+1} s_{t+2} s_{t+3}…</math>和单侧后向序列<math>s_t^←=⋯s_{t-3} s_{t-2} s_{t-1} s_t</math>两个部分，所有可能的未来序列<math>s_t^→</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。+ − 智能体为了识别外部环境状态，需要捕捉测量结果中的有序结构，按照一定的划分方法（ partitioni）将<math> \overset{\leftarrow}{S}</math>划分为若干个互斥且全面的子集，那么每个子集就是一个有效态（effective state），这些有效态的集合记作<math>\mathcal{R} </math>，划分方法可以是任意函数映射<math> η </math>，用公式表示为<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，也可以将有效态理解为将<math> \overset{\leftarrow}{S}</math>中的某段序列粗粒化后得到的宏观态。+ − + 第142行：
第142行： − +
→因果态的定义
在计算力学中，宇宙被视为一个确定性动力系统（DS），即使规则和初始条件是确定的，随着规模的增长，系统也会变得极为复杂。由于系统内的智能体的计算资源有限，无法测量和预测其内外部环境的所有行为，这些不能预测的部分对智能体来说就相当于是随机扰动，所以智能体被视为一个随机动力系统（SDS）。智能体试图构建和维持一个对其环境具有最大预测能力的内部模型，以提高其自身对环境的适应性和生存能力。
在计算力学中，宇宙被视为一个确定性动力系统（DS），即使规则和初始条件是确定的，随着规模的增长，系统也会变得极为复杂。由于系统内的智能体的计算资源有限，无法测量和预测其内外部环境的所有行为，这些不能预测的部分对智能体来说就相当于是随机扰动，所以智能体被视为一个随机动力系统（SDS）。智能体试图构建和维持一个对其环境具有最大预测能力的内部模型，以提高其自身对环境的适应性和生存能力。
智能体对外部环境的测量精度一般都是有限的，测量结果只能描述外部环境的“模糊状态”，智能体需要对测量结果粗粒化后才能识别“模糊状态”中的模式。若将测量对象过去未来的所有信息视为限制在离散值、离散时间上的稳定[[随机过程]]，用双无限序列可数集合<math>\overleftrightarrow{S}=⋯s_{-2} s_{-1} s_0 s_1 s_2…</math>表示，则测量结果为<math>\overleftrightarrow{S}</math>中任意随机变量的序列。基于时间<math>t</math>可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>s_t^→=s_t s_{t+1} s_{t+2} s_{t+3}…</math>和单侧后向序列<math>s_t^←=⋯s_{t-3} s_{t-2} s_{t-1} s_t</math>两个部分，所有可能的未来序列<math>s_t^→</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。
按照一定的划分方法（ partitioni）将<math> \overset{\leftarrow}{S}</math>划分为若干个互斥且全面的子集，那么每个子集就是一个有效态（effective state），这些有效态的集合记作<math>\mathcal{R} </math>，划分方法可以是任意函数映射<math> η </math>，用公式表示为<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，也可以将有效态理解为将<math> \overset{\leftarrow}{S}</math>中的某段序列粗粒化后得到的宏观态。
[[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]]
[[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]]
上图为某种划分方法的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类有效态<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。
上图为某种划分方法的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类有效态<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。
用来划分集合<math> \overset{\leftarrow}{S}</math>的映射可以有很多种，若某一种划分方法能够在预测能力最强的同时消耗的计算资源最少，那么它肯定是最优的划分。为了找到这种最优的划分，需要定义因果态的概念，对于任意的时间点<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> s_t^← </math>的条件下，未来状态<math> s^→ </math>的分布与给定过去状态<math> s_{t^{'}}^← </math>的条件下，未来状态<math> s^→ </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t∼t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，形式化定义可以用公式表示为：<math>t∼t^{'} \triangleq Pr(s^→ |s_t^← )=Pr(s^→ |s_{t^{'}}^← ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态的分布相同，则定义他们具有相同的因果态（casual state）。
用来划分集合<math> \overset{\leftarrow}{S}</math>的映射可以有很多种，若某一种划分方法能够在预测能力最强的同时消耗的计算资源最少，那么它肯定是最优的划分。为了找到这种最优的划分，需要定义因果态的概念，因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的模式，并且这种模式不随时间发生变化。形式化定义为：对于任意的时间点<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> s_t^← </math>的条件下，未来状态<math> s^→ </math>的分布与给定过去状态<math> s_{t^{'}}^← </math>的条件下，未来状态<math> s^→ </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t∼t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，可以用公式表示为：<math>t∼t^{'} \triangleq Pr(s^→ |s_t^← )=Pr(s^→ |s_{t^{'}}^← ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态的分布相同，则定义他们具有相同的因果态（casual state）。
[[文件:因果态的定义.jpg|居中|无框|400x400px|替代=]]
[[文件:因果态的定义.jpg|居中|无框|400x400px|替代=]]
如上图所示，在<math>t_9</math>和<math>t_{13}</math>时刻分别对应一个状态，这两个状态处于相同的因果态，因为对未来的预测具有相同的分布；在<math>t_{11}</math>时刻的状态，则与<math>t_9</math>和<math>t_{13}</math>时刻处于不同的因果态。
如上图所示，在<math>t_9</math>和<math>t_{13}</math>时刻分别对应一个状态，这两个状态处于相同的因果态，因为对未来的预测具有相同的分布；在<math>t_{11}</math>时刻的状态，则与<math>t_9</math>和<math>t_{13}</math>时刻处于不同的因果态。
===因果态的主要性质===
===因果态的主要性质===
因果态是有效态的一个特殊形式，因果态的集合记作<math>\mathcal{S} </math>，<math>\mathcal{S} </math>是<math>\mathcal{R} </math>的一种最优形式，原因如下。
因果态是有效态的一个特殊形式，因果态的集合记作<math>\mathcal{S} </math>，<math>\mathcal{S} </math>是<math>\mathcal{R} </math>的一种最优形式，因为<math>\mathcal{S} </math>的如下性质。
（1）因果态集合<math>\mathcal{S} </math>在有效态集合<math>\mathcal{R} </math>的所有类型中，它的预测能力最强，用公式表示为<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为<math>L </math>个长度的未来序列集合，<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的条件熵。
（1）因果态集合<math>\mathcal{S} </math>在有效态集合<math>\mathcal{R} </math>的所有类型中，它的预测能力最强，用公式表示为<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为<math>L </math>个长度的未来序列集合，<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的条件熵。