297
个编辑
更改
跳到导航
跳到搜索
第52行：
第52行： − +
→因果态的定义
对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的状态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义他们具有相同的因果态（casual state）。
对于集合<math> \overset{\leftarrow}{S}</math>的划分可以有很多种，若某一种划分能够在预测能力最强的同时又非常简洁，那么它肯定是最优的划分，我们把这种用最优的划分方法得到的状态称为[[因果态]]。因果态就是智能体对测量结果进行处理后，根据其内部模型（尤其是状态结构）识别出的斑图，并且这种斑图不随时间发生变化。形式化定义为：对于任意的时刻<math>t </math> 和<math>t^{'} </math>，给定过去状态<math> \overleftarrow{s_t} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布与给定过去状态<math> \overleftarrow{s_{t^{'}}} </math>的条件下，未来状态<math> \overrightarrow{s} </math>的分布相同。那么<math>t </math> 和<math>t^{'} </math>的关系就记作<math>t\sim t^{'} </math>，“<math>∼ </math> ” 表示由等效未来状态所引起的等价关系，也叫预测等价性（predictive equivalence），可以用公式表示为：<math>t\sim t^{'} \triangleq Pr(\overrightarrow{s}|\overleftarrow{s_t} )=Pr(\overrightarrow{s} |\overleftarrow{s_{t^{'}}} ) </math>，若<math>t </math> 和<math>t^{'} </math>对未来状态预测的分布相同，则定义他们具有相同的因果态（casual state）。
因果态的划分映射可以记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel\overrightarrow{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel\overrightarrow{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。
因果态的划分映射可以记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>{ \epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} } </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。
[[文件:因果态的定义.jpg|居中|无框|400x400px|替代=]]
[[文件:因果态的定义.jpg|居中|无框|400x400px|替代=]]
如上图所示，左侧的数字代表<math>t</math>时刻的状态序列，右侧的箭头形状代表对未来状态预测的分布，可以观察到<math>t_9</math>和<math>t_{13}</math>时刻的箭头形状完全相同，说明它们对未来状态预测的分布相同，则处于相同的因果态；同样的道理，在<math>t_{11}</math>时刻，它的箭头形状与<math>t_9</math>和<math>t_{13}</math>时刻不同，则处于不同的因果态。
如上图所示，左侧的数字代表<math>t</math>时刻的状态序列，右侧的箭头形状代表对未来状态预测的分布，可以观察到<math>t_9</math>和<math>t_{13}</math>时刻的箭头形状完全相同，说明它们对未来状态预测的分布相同，则处于相同的因果态；同样的道理，在<math>t_{11}</math>时刻，它的箭头形状与<math>t_9</math>和<math>t_{13}</math>时刻不同，则处于不同的因果态。