3,094
个编辑
更改
跳到导航
跳到搜索
第43行：
第43行： − 智能体需要一种有效的描述方式处理接受到的环境信息，使其可以把环境信息压缩成一个有限的状态空间，并存储于内部环境模型中。为了找到这种有效的描述方式，我们需要先定义一个叫做“[[因果态]]”的概念。+ + + + + + + + + + + − 智能体对环境的测量精度一般都是有限的，测量结果只能描述环境状态的投影。我们可以将环境从过去到未来的变化用一个离散的稳定[[随机过程]]描述，状态的取值空间则为双无限序列可数集合<math>\overleftrightarrow{S}=⋯s_{-2} s_{-1} s_0 s_1 s_2…</math>，也就是说，一个状态指的是一个时间序列。基于当前的时刻<math>t</math>，我们可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>\overrightarrow{s_t}=s_t s_{t+1} s_{t+2} s_{t+3}…</math>和单侧后向序列<math>\overleftarrow{s_t}=⋯s_{t-3} s_{t-2} s_{t-1} </math>两个部分，所有可能的未来序列<math>\overrightarrow{s_t}</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。某一个时刻的状态指的是截止到当前时刻的历史序列。+ − 通过某种划分（ partition），我们可以找到观测到的状态（可以称之为微观态）与智能体压缩后得到的隐空间上的状态（可以称为宏观态）之间的对应关系。划分为一种映射，<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，其中<math>\mathcal{R} </math>是微观状态空间的子集的集合，要满足其元素彼此互斥，而且所有元素的并集等于<math> \overset{\leftarrow}{S}</math>。通过划分操作得到的每个子集都可以被视为对应着一个宏观态。 − [[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]] +
→因果态和复杂度
==因果态和复杂度==
==因果态和复杂度==
智能体需要一种有效的描述方式处理接受到的环境信息，使其可以把环境信息压缩成一个有限的状态空间，并存储于内部环境模型中。为了找到这种有效的描述方式，我们首先需要定义所谓的状态的概念，状态可以理解为智能体所接收到的全部信息历史。之后，我们将引入"因果态"的概念，它相当于是对状态的一种粗粒化描述。
===状态的定义===
智能体对环境的测量精度一般都是有限的，测量结果只能描述环境状态的投影。我们可以将环境从过去到未来的变化用一个离散的稳定[[随机过程]]描述，状态的取值空间则为双无限序列可数集合<math>\overleftrightarrow{S}=\cdots s_{-2} s_{-1} s_0 s_1 s_2\cdots</math>，也就是说，一个状态指的是一个无限长的时间序列。
基于当前的时刻<math>t</math>，我们可以将<math>\overleftrightarrow{S}</math>分为单侧前向序列<math>\overrightarrow{s_t}=s_t s_{t+1} s_{t+2} s_{t+3}\cdots</math>和单侧后向序列<math>\overleftarrow{s_t}=\cdots s_{t-3} s_{t-2} s_{t-1} </math>两个部分，所有可能的未来序列<math>\overrightarrow{s_t}</math>形成的集合记作<math> \overrightarrow{S}</math>，所有可能的历史序列<math>\overleftarrow{s_t}</math>形成的集合记作<math> \overleftarrow{S}</math>。某一个时刻的状态指的是截止到当前时刻的历史序列。
然后我们将定义一个叫做“[[因果态]]”的概念。
===因果态的定义===
===因果态的定义===
====划分====
通过对状态空间进行划分（ partition），我们可以找到观测到的状态（可以称之为微观态）与智能体压缩后得到的隐空间上的状态（可以称为宏观态）之间的对应关系。划分为一种映射，<math> \eta{:}\overleftarrow{S}\mapsto\mathcal{R}</math>，其中<math>\mathcal{R} </math>是状态空间的子集的集合，要满足其元素彼此互斥，而且所有元素的并集等于<math> \overset{\leftarrow}{S}</math>的条件。通过划分操作得到的每个子集都可以被视为对应着一个宏观态。
[[文件:划分示意图.jpg|居中|400x400像素|替代=|无框]]
上图为某种划分的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类宏观态的子集<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。
上图为某种划分的示意图，将集合<math> \overset{\leftarrow}{S}</math>划分为某类宏观态的子集<math> \mathcal{R}=\{\mathcal{R}_i:i=1,2,3,4\}</math>，值得注意的是，<math> \mathcal{R}_i</math>不必形成紧致集，也可以是康托集或其他更特殊的结构，上图为了示意清楚才这样画的。
====因果态====
对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的宏观态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义它们具有相同的因果态（casual state）。
对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的宏观态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义它们具有相同的因果态（casual state）。