697
个编辑
更改
→因果态的主要性质
]]
]]
为了能够计算模型的统计复杂度[math]\displaystyle{ C_μ(x) }[/math]，我们首先需要最大限度地压缩环境信息，因果态的性质恰好能满足这一需求，所以只要将环境信息转化为因果态，就能计算模型的统计复杂度。下面是因果态的三个主要性质：
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h_μ L }[/math]
因果态的划分映射记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。因果态具有如下性质：
因果态的划分映射记作<math>\epsilon</math>，公式为<math> \epsilon{:}\overleftarrow{S}\mapsto2^{\overset{\leftarrow}{S}}</math>，其中<math> 2^{\overset{\leftarrow}{S}}</math>是<math> \overleftarrow{S}</math>的幂集。根据因果态的定义，则存在如下关系：<math>\epsilon(\stackrel{\leftarrow}{s})\equiv\{\stackrel{\leftarrow}{s}^{\prime}|\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s})=\mathrm{P}(\stackrel{\rightarrow}{S}=\stackrel{\rightarrow}{s}\mid\stackrel{\leftarrow}{S}=\stackrel{\leftarrow}{s}^{\prime})，\mathrm{for~all~}\overrightarrow{s}\in\overrightarrow{S},\stackrel{\leftarrow}{s}^{\prime}\in\stackrel{\leftarrow}{S}\} </math>，其中<math>\mathcal{S} </math>为因果态的集合，<math>\stackrel{\leftarrow}{s} </math>为历史序列的随机变量。因果态具有如下性质：
用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意状态对它自己下一时刻的互信息中，其中因果态的互信息最大。
用[[互信息]]的角度去理解的话，上式等价于<math>I(\mathcal{S}^{\prime};\mathcal{S})\geq I(\hat{\mathcal{R}}^{\prime};\hat{\mathcal{R}}) </math>，可以理解为任意状态对它自己下一时刻的互信息中，其中因果态的互信息最大。
若想更深入的理解因果态的性质可以阅读Cosma Rohilla Shalizi 和James Crutchfield合写的一篇论文<ref name=":4">Shalizi, C. R.. & Crutchfield, J. P. (2001). Computational Mechanics: Pattern and Prediction, Structure and
Simplicity,Journal of Statistical Physics,104(3/4).817-879.</ref>，里面有因果态更多的性质和对应的形式化证明过程。
Simplicity,Journal of Statistical Physics,104(3/4).817-879.</ref>，里面有因果态更多的性质和对应的形式化证明过程。
=== 香农熵率 ===
香农熵率（Shannon Entropy Rate）是信息论中的一个概念，通常用来衡量一个[[信源]]或[[随机过程]]在单位时间内传输的[[信息量]]，或者说是该信源的不确定性和复杂性的度量。它是香农熵的扩展，主要用于描述时间序列（如随机过程）的平均信息量。如果待测对象是由信源（例如[[马尔可夫链]]）生成的离散符号序列[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，柯式复杂度与香农熵率[math]\displaystyle{ h_μ }[/math]的关系为：
<math>
\frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} ,
</math>
在这里，香农熵率就可以定义为：
<math>
h_\mu=\lim_{L\to\infty}\frac{H(\Pr(s^L))}L
</math>
其中<math> \Pr(s^L)</math>是[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是[[Shannon熵]]，也就是[[自信息]]的平均值，在建模框架中，[math]\displaystyle{ h_μ }[/math]是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大，在这里可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。
上文中我们介绍了柯式复杂度、统计复杂度和香农熵率这三个与复杂性相关的指标，其实这三者之间存在一个近似关系，可以用公式表示为：
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h_μ L }[/math]
如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。
==模型的重构==
==模型的重构==