3,094
个编辑
更改
跳到导航
跳到搜索
第187行：
第187行： − h_\mu=\lim_{L\to\infty}\frac{H(\P(s^L))}L + − + 第197行：
第197行： − + − + − +
→香农熵率与复杂度
<math>
<math>
h=\lim_{L\to\infty}\frac{H(\Pr(s^L))}L
</math>
</math>
其中，[math]\displaystyle{ s^L }[/math]是环境信息生成的离散符号序列，[math]\displaystyle{ L }[/math]为序列的长度，<math> \P(s^L)</math>是序列[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是香农熵。在建模框架中，[math]\displaystyle{ h_μ }[/math]可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。由该公式可见，熵率也就是[[自信息]]的平均值。
其中，[math]\displaystyle{ s^L }[/math]是环境信息生成的离散符号序列，[math]\displaystyle{ L }[/math]为序列的长度，<math> \Pr(s^L)</math>是序列[math]\displaystyle{ s^L }[/math]的边际分布，[math]\displaystyle{ H }[/math]是香农熵。在建模框架中，[math]\displaystyle{ h }[/math]可以解释为智能体在预测序列[math]\displaystyle{ s^L }[/math]的后续符号时的误差率。由该公式可见，熵率也就是[[自信息]]的平均值。
香农熵率是归一化的度量信息不确定性程度的指标，信息的不确定性越高，香农熵率越大。对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]，香农熵率为0，对于完全随机的对象，如抛硬币产生的序列，香农熵率为1。
香农熵率是归一化的度量信息不确定性程度的指标，信息的不确定性越高，香农熵率越大。对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]，香农熵率为0，对于完全随机的对象，如抛硬币产生的序列，香农熵率为1。
<math>
<math>
\frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} ,
\frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h,
</math>
</math>
上文中我们介绍了柯式复杂度、统计复杂度和香农熵率这三个与复杂性相关的指标，其实这三者之间存在一个近似关系，可以用公式表示为：
上文中我们介绍了柯式复杂度、统计复杂度和香农熵率这三个与复杂性相关的指标，其实这三者之间存在一个近似关系，可以用公式表示为：
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h_μ L }[/math]
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h L }[/math]
如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h_μ L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h_μ }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。
如果在已确定描述语言（程序）的情况下，柯式复杂度[math]\displaystyle{ K(s^L ) }[/math]可以理解为描述[math]\displaystyle{ s^L }[/math]所用的总信息量。[math]\displaystyle{ h L }[/math]为允许损失的信息量。统计复杂度[math]\displaystyle{ C_μ (s^L ) }[/math]可以理解为允许存在误差率[math]\displaystyle{ h }[/math]的情况下，描述[math]\displaystyle{ s^L }[/math]所用的最少信息量。
===模型重构===
===模型重构===