更改

智能体面临的基本问题是基于对环境状态的建模和对未来环境的预测。这需要一个量化的理论来描述智能体如何处理信息和构建模型。

智能体面临的基本问题是基于对环境状态的建模和对未来环境的预测。这需要一个量化的理论来描述智能体如何处理信息和构建模型。

==因果态==

==模型的因果态和复杂度==

智能体需要一种有效的描述方式处理接受到的环境信息，使其可以把环境信息压缩成一个有限的状态空间，并存储于内部环境模型中。为了找到这种有效的描述方式，我们需要先定义一个叫做“因果态”的概念。

智能体需要一种有效的描述方式处理接受到的环境信息，使其可以把环境信息压缩成一个有限的状态空间，并存储于内部环境模型中。为了找到这种有效的描述方式，我们需要先定义一个叫做“因果态”的概念。

如上图所示，左侧的数字代表<math>t</math>时刻的状态序列，右侧的箭头形状代表对未来状态预测的分布，可以观察到<math>t_9</math>和<math>t_{13}</math>时刻的箭头形状完全相同，说明它们对未来状态预测的分布相同，则处于相同的因果态；同样的道理，在<math>t_{11}</math>时刻，它的箭头形状与<math>t_9</math>和<math>t_{13}</math>时刻不同，则处于不同的因果态。

如上图所示，左侧的数字代表<math>t</math>时刻的状态序列，右侧的箭头形状代表对未来状态预测的分布，可以观察到<math>t_9</math>和<math>t_{13}</math>时刻的箭头形状完全相同，说明它们对未来状态预测的分布相同，则处于相同的因果态；同样的道理，在<math>t_{11}</math>时刻，它的箭头形状与<math>t_9</math>和<math>t_{13}</math>时刻不同，则处于不同的因果态。

==斑图重构机器==

===斑图重构机器===

智能体如何处理测量结果才能识别其中因果态呢？为了解决这个问题，计算力学建立了名为斑图重构机器（ϵ-machine）的模型，其中因果态的划分映射被记为<math>\epsilon</math>。它可以重构测量结果中的序列，去除随机噪声后识别其中的因果态。它的形式化定义可以用公式表示为<math>M=(\mathcal{S},T)</math>，<math>T</math>为状态到状态映射的集合，满足<math>S_{t+1}=TS_t</math>，<math>S</math>为集合<math>\mathcal{S} </math>中的任意一个因果态，它类似于一个粗粒化后的[[宏观动力学]]。<math>T_{ij}^{\left ( s \right )}</math>为两个因果态<math>S_i</math>和<math>S_j</math>之间的因果态转移概率映射，<math>T_{ij}^{(s)}\equiv\mathrm{P}(\mathcal{S}'=\mathcal{S}_j,\stackrel{\to}{S}^1=s|\mathcal{S}=\mathcal{S}_i)</math>。每个[math]\displaystyle{ \mathcal{S} }[/math]都对应一个<math>\epsilon</math>映射，它和<math>T</math>函数一起组成一个有序对<math>\left \{ \epsilon,T \right \}</math>。后文“模型的创新与重构”一节中会介绍，智能体的内在模型会根据观测到的新数据，动态更新<math>\epsilon</math>映射和<math>T</math>函数。

智能体如何处理测量结果才能识别其中因果态呢？为了解决这个问题，计算力学建立了名为斑图重构机器（ϵ-machine）的模型，其中因果态的划分映射被记为<math>\epsilon</math>。它可以重构测量结果中的序列，去除随机噪声后识别其中的因果态。它的形式化定义可以用公式表示为<math>M=(\mathcal{S},T)</math>，<math>T</math>为状态到状态映射的集合，满足<math>S_{t+1}=TS_t</math>，<math>S</math>为集合<math>\mathcal{S} </math>中的任意一个因果态，它类似于一个粗粒化后的[[宏观动力学]]。<math>T_{ij}^{\left ( s \right )}</math>为两个因果态<math>S_i</math>和<math>S_j</math>之间的因果态转移概率映射，<math>T_{ij}^{(s)}\equiv\mathrm{P}(\mathcal{S}'=\mathcal{S}_j,\stackrel{\to}{S}^1=s|\mathcal{S}=\mathcal{S}_i)</math>。每个[math]\displaystyle{ \mathcal{S} }[/math]都对应一个<math>\epsilon</math>映射，它和<math>T</math>函数一起组成一个有序对<math>\left \{ \epsilon,T \right \}</math>。后文“模型的重构”一节中会介绍，智能体的内在模型会根据观测到的新数据，动态更新<math>\epsilon</math>映射和<math>T</math>函数。

 

=== 柯氏复杂度 ===

=== 柯氏复杂度 ===

在已有的众多复杂度量化指标中，柯氏复杂度是最符合我们要求的一个指标，[[柯式复杂度]][math]\displaystyle{ K(x) }[/math]是指在通用确定性[[图灵机]]（Universal Turing Machine，简称UTM）上运行时生成字符串[math]\displaystyle{ x }[/math]的最小程序长度。但它也有比较明显的两个问题，第一个问题是它的不可计算性，由于[[图灵机与计算问题|图灵停机]]问题的存在，我们无法构造一个通用算法来决定任意程序是否会在给定输入上停机。这意味着我们不能有效地判断哪些程序是最短的，因为没有方法可以保证找到最短程序的存在与否。由于没有通用的方法来验证或找到描述字符串[math]\displaystyle{ x }[/math]的最短程序，我们就无法计算柯氏复杂度。即使我们能够找到一个描述字符串[math]\displaystyle{ x }[/math]的程序，我们也无法保证它是最短的。为了确定程序是否为最短程序，我们需要检查所有可能的程序，而这一过程在计算上是不可行的。第二个问题是它可能无法度量程序的结构和动态特性，因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特，包括随机状态生成的比特。若[math]\displaystyle{ K(x) }[/math]中字符串[math]\displaystyle{ x }[/math]大部分是由随机状态生成，这样会导致[math]\displaystyle{ x }[/math]的特征和重要结构被掩盖。

智能体在构建和优化斑图重构机器的过程中，由于计算资源的限制，不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标，以便监控和调整模型的大小，确保模型能匹配已有的计算资源。在已有的众多复杂度量化指标中，柯氏复杂度是最符合我们要求的一个指标，[[柯式复杂度]][math]\displaystyle{ K(x) }[/math]是指在通用确定性[[图灵机]]（Universal Turing Machine，简称UTM）上运行时生成字符串[math]\displaystyle{ x }[/math]的最小程序长度。但它也有比较明显的两个问题，第一个问题是它的不可计算性，由于[[图灵机与计算问题|图灵停机]]问题的存在，我们无法构造一个通用算法来决定任意程序是否会在给定输入上停机。这意味着我们不能有效地判断哪些程序是最短的，因为没有方法可以保证找到最短程序的存在与否。由于没有通用的方法来验证或找到描述字符串[math]\displaystyle{ x }[/math]的最短程序，我们就无法计算柯氏复杂度。即使我们能够找到一个描述字符串[math]\displaystyle{ x }[/math]的程序，我们也无法保证它是最短的。为了确定程序是否为最短程序，我们需要检查所有可能的程序，而这一过程在计算上是不可行的。第二个问题是它可能无法度量程序的结构和动态特性，因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特，包括随机状态生成的比特。若[math]\displaystyle{ K(x) }[/math]中字符串[math]\displaystyle{ x }[/math]大部分是由随机状态生成，这样会导致[math]\displaystyle{ x }[/math]的特征和重要结构被掩盖。

=== '''统计复杂度''' ===

=== '''统计复杂度''' ===

如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。

如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。

== 因果态的主要性质 ==

=== 因果态的主要性质 ===

因果态的划分映射记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。因果态具有如下性质：

因果态的划分映射记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。因果态具有如下性质：

性质1（因果态具有最大预测性）：对于所有划分得到的状态<math>\mathcal{R} </math>和正整数<math>L </math>，都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为<math>L </math>个长度的未来序列集合，<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>在划分得到的状态集合<math>\mathcal{R} </math>的所有类型中，它的预测能力最强，证明过程如下：

对于所有划分得到的状态<math>\mathcal{R} </math>和正整数<math>L </math>，都有<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，<math>\stackrel{\rightarrow}{S}^L </math>为<math>L </math>个长度的未来序列集合，<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}] </math>和<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>是<math>\stackrel{\rightarrow}{S}^L </math>的[[条件熵]]。可以理解为因果态集合<math>\mathcal{S} </math>在划分得到的状态集合<math>\mathcal{R} </math>的所有类型中，它的预测能力最强，证明过程如下：

<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime}) </math>

<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime}) </math>

<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>

<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]\geq H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>

性质2（因果态具有最小统计复杂度）：设<math>\hat{\mathcal{R}} </math>为满足性质1中不等式等号成立时划分得到的状态，则对于所有的<math>\hat{\mathcal{R}} </math>，都有<math>C_\mu(\hat{\mathcal{R}})\geq C_\mu(\mathcal{S}) </math>。可以理解为在相同预测能力的前提下，因果态集合<math>\mathcal{S} </math>在划分得到的状态集合<math>\mathcal{R} </math>的所有类型中，它的统计复杂度最小，证明过程如下：

设<math>\hat{\mathcal{R}} </math>为满足性质1中不等式等号成立时划分得到的状态，则对于所有的<math>\hat{\mathcal{R}} </math>，都有<math>C_\mu(\hat{\mathcal{R}})\geq C_\mu(\mathcal{S}) </math>。可以理解为在相同预测能力的前提下，因果态集合<math>\mathcal{S} </math>在划分得到的状态集合<math>\mathcal{R} </math>的所有类型中，它的统计复杂度最小，证明过程如下：

对于任意的<math>\mathcal{R}</math>，若<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]= H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，则存在函数<math>g </math>使得<math>\mathcal{S}=g(\mathcal{R}) </math>总是成立。

对于任意的<math>\mathcal{R}</math>，若<math>H[\stackrel{\rightarrow}{S}^L|\mathcal{R}]= H[\stackrel{\rightarrow}{S}^L|\mathcal{S}] </math>，则存在函数<math>g </math>使得<math>\mathcal{S}=g(\mathcal{R}) </math>总是成立。

结合本条性质，公式<math>K(s^L )≈C_μ (s^L )+h_μ L </math>中求<math>C_μ (s^L ) </math>就是求<math>s^L </math>对应的因果态的统计复杂度，也就是说想要计算<math>C_μ (s^L ) </math>需要先找到<math>s^L </math>对应的因果态。上式也可以理解为：序列<math>s^L </math>的总信息量≈被归纳的因果态信息量+放弃归纳的随机信息量

结合本条性质，公式<math>K(s^L )≈C_μ (s^L )+h_μ L </math>中求<math>C_μ (s^L ) </math>就是求<math>s^L </math>对应的因果态的统计复杂度，也就是说想要计算<math>C_μ (s^L ) </math>需要先找到<math>s^L </math>对应的因果态。上式也可以理解为：序列<math>s^L </math>的总信息量≈被归纳的因果态信息量+放弃归纳的随机信息量

性质3（因果态具有最小随机性）：设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的状态，则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>，都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>，其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。可以理解为在相同预测能力的前提下，因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在划分得到的状态集合[math]\displaystyle{ \mathcal{R} }[/math]的所有类型中，它的随机性最小。

设<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>为满足性质1中不等式等号成立的状态，则对于所有的<math>\hat{\mathcal{R}} </math>和<math>\hat{\mathcal{R}}^{\prime} </math>，都有<math>H[\hat{\mathcal{R}}^{\prime}|\hat{\mathcal{R}}]\geq H[\mathcal{S}^{\prime}|\mathcal{S}] </math>，其中<math>\hat{\mathcal{R}}^{\prime} </math>和<math>\mathcal{S}^{\prime} </math>分别是该过程的下一时刻状态和下一时刻因果态。可以理解为在相同预测能力的前提下，因果态集合[math]\displaystyle{ \mathcal{S} }[/math]在划分得到的状态集合[math]\displaystyle{ \mathcal{R} }[/math]的所有类型中，它的随机性最小。

用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意状态对它自己下一时刻的互信息中，其中因果态的互信息最大。

用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意状态对它自己下一时刻的互信息中，其中因果态的互信息最大。

Simplicity,Journal of Statistical Physics,104(3/4).817-879.</ref>，里面有因果态更多的性质和对应的形式化证明过程。

Simplicity,Journal of Statistical Physics,104(3/4).817-879.</ref>，里面有因果态更多的性质和对应的形式化证明过程。

==模型的创新与重构==

==模型的重构==

===模型创新===

===模型重构===

[[文件:层次机器示意图1.jpg|居中|无框|600x600像素|WU]]

[[文件:层次机器示意图1.jpg|居中|无框|600x600像素|WU]]

===模型重构算法===

===模型重构算法===

上面介绍了斑图重构机器，是智能体识别因果态的一种方式。若结合模型创新的概念，就可以给出斑图重构机器的完整定义：斑图重构机器（ϵ-machine）是能够用最少的计算资源对测量结果进行有限描述同时复杂度最小的模型。模型的算法步骤如下：

上面介绍了斑图重构机器，是智能体识别因果态的一种方式。若结合模型重构的概念，就可以给出斑图重构机器的完整定义：斑图重构机器（ϵ-machine）是能够用最少的计算资源对测量结果进行有限描述同时复杂度最小的模型。模型的算法步骤如下：

1. 在最低水平上，设定0级模型为描述数据本身，即<math>M_0=s</math>，将初始层级<math>l</math>设置为比0级高一级，即<math>l=1</math>；

1. 在最低水平上，设定0级模型为描述数据本身，即<math>M_0=s</math>，将初始层级<math>l</math>设置为比0级高一级，即<math>l=1</math>；

上图（a）为逻辑斯谛映射中统计复杂度<math>C_μ  </math>与香农熵率<math>H(L)/L </math>的关系，三角形表示<math>(C_μ ,H(L)/L) </math>的大概位置，对应非线性参数<math>r</math>的 193 个取值，其中子序列长度<math>L=16 </math>，覆盖部分实验数据的粗实线是<math>C_μ =0 </math>时对<math>H(L)/L </math>得出的分析曲线。本图表现两个重要特征。第一个特征是熵的极值导致零复杂度，也就是说在<math>H(L)/L=0 </math>处最简单的周期过程和在<math>H(L)/L=1 </math>处最随机的过程在统计上都是简单的，它们都具有零复杂度，因为它们是由具有单一状态的斑图重构机器描述的。第二个特征是在两个极端情况之间，过程明显更为复杂，在临界熵值<math>H_c </math>附近出现明显峰值（此处<math>r=3.5699...</math>），<math>H(L)/L </math>小于<math>H_c </math>时数据集在呈周期性（包括在混沌区域也呈周期性的参数）的参数下产生，大于<math>H_c </math>时数据集在混沌的参数下产生。本图可以对照统计复杂度小节中的图（b）理解。

上图（a）为逻辑斯谛映射中统计复杂度<math>C_μ  </math>与香农熵率<math>H(L)/L </math>的关系，三角形表示<math>(C_μ ,H(L)/L) </math>的大概位置，对应非线性参数<math>r</math>的 193 个取值，其中子序列长度<math>L=16 </math>，覆盖部分实验数据的粗实线是<math>C_μ =0 </math>时对<math>H(L)/L </math>得出的分析曲线。本图表现两个重要特征。第一个特征是熵的极值导致零复杂度，也就是说在<math>H(L)/L=0 </math>处最简单的周期过程和在<math>H(L)/L=1 </math>处最随机的过程在统计上都是简单的，它们都具有零复杂度，因为它们是由具有单一状态的斑图重构机器描述的。第二个特征是在两个极端情况之间，过程明显更为复杂，在临界熵值<math>H_c </math>附近出现明显峰值（此处<math>r=3.5699...</math>），<math>H(L)/L </math>小于<math>H_c </math>时数据集在呈周期性（包括在混沌区域也呈周期性的参数）的参数下产生，大于<math>H_c </math>时数据集在混沌的参数下产生。本图可以对照统计复杂度小节中的图（b）理解。

上图（b）为逻辑斯谛映射中在<math>r=3.5699...</math>处，<math>L </math>与隐状态数量<math>\left|\mathbf{V}\right| </math>的关系，序列的长度<math>L=64 </math>时，<math>\left|\mathbf{V}\right|=196 </math>，从图中可以看出，随着<math>L </math>的增长，<math>\left|\mathbf{V}\right| </math>的值是发散的，若要用有限的<math>L </math>来描述<math>\left|\mathbf{V}\right| </math>，就需要将模型进行创新升级为描述能力更强的模型。

上图（b）为逻辑斯谛映射中在<math>r=3.5699...</math>处，<math>L </math>与隐状态数量<math>\left|\mathbf{V}\right| </math>的关系，序列的长度<math>L=64 </math>时，<math>\left|\mathbf{V}\right|=196 </math>，从图中可以看出，随着<math>L </math>的增长，<math>\left|\mathbf{V}\right| </math>的值是发散的，若要用有限的<math>L </math>来描述<math>\left|\mathbf{V}\right| </math>，就需要将模型进行重构，升级为描述能力更强的模型。

=== 模型升级 ===

=== 模型升级 ===