3,094
个编辑
更改
→香农熵率
=== 香农熵率 ===
=== 香农熵率 ===
上文中提到的一个序列的随机性可以用香农熵率（Shannon Entropy Rate）来度量，香农熵率是信息论中的一个概念，它是[[香农熵]]的扩展，主要用于描述时间序列在单位时间上的平均信息量。香农熵率是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大。对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]时，它的香农熵率为0，对于完全随机对象，如抛硬币产生的序列，它的香农熵率为1。如果环境信息生成的离散符号序列记作[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，香农熵率记作[math]\displaystyle{ h_μ }[/math]，它与柯式复杂度[math]\displaystyle{ K(x) }[/math]的关系为：
上文中提到的一个序列的随机性可以用香农熵率（Shannon Entropy Rate）来度量，香农熵率是信息论中的一个概念，它是[[香农熵]]的扩展，主要用于描述时间序列在单位时间上的平均信息量。在这里，香农熵率可以定义为：
<math>
<math>
\frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} ,
h_\mu=\lim_{L\to\infty}\frac{H(\Pr(s^L))}L
</math>
</math>
其中<math> \Pr(s^L)</math>是[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是香农熵，也就是[[自信息]]的平均值，在建模框架中，[math]\displaystyle{ h_μ }[/math]可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。
香农熵率是信息不确定性程度的归一化指标，信息的不确定性越高，香农熵率越大。对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]时，它的香农熵率为0，对于完全随机对象，如抛硬币产生的序列，它的香农熵率为1。如果环境信息生成的离散符号序列记作[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，香农熵率记作[math]\displaystyle{ h_μ }[/math]，它与柯式复杂度[math]\displaystyle{ K(x) }[/math]的关系为：
<math>
<math>
\frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} ,
</math>
</math>
上文中我们介绍了柯式复杂度、统计复杂度和香农熵率这三个与复杂性相关的指标，其实这三者之间存在一个近似关系，可以用公式表示为：
上文中我们介绍了柯式复杂度、统计复杂度和香农熵率这三个与复杂性相关的指标，其实这三者之间存在一个近似关系，可以用公式表示为：