更改

柯尔莫哥洛夫复杂度对于单个对象的句法复杂性度量的不足在于，由于停机问题的不可判定性，无法构造通用算法来精确算出任意对象的最短描述程序长度 <math>K(x)</math>。我们至多只能给出上界估计（例如通过通用压缩算法获得的压缩后长度），但无法知道这是否就是最短程序，因此无法得到真正的复杂度值。

柯尔莫哥洛夫复杂度对于单个对象的句法复杂性度量的不足在于，由于停机问题的不可判定性，无法构造通用算法来精确算出任意对象的最短描述程序长度 <math>K(x)</math>。我们至多只能给出上界估计（例如通过通用压缩算法获得的压缩后长度），但无法知道这是否就是最短程序，因此无法得到真正的复杂度值。

* 香农熵（Shannon entropy）

* 香农熵

香农熵（Shannon Entropy）是信息论中用于度量来源不确定性的经典量度。对于离散随机变量<math>X</math> 及其概率分布<math>{p_i}</math>，香农熵定义为：

香农熵（Shannon Entropy）是信息论中用于度量来源不确定性的经典量度。对于离散随机变量<math>X</math> 及其概率分布<math>{p_i}</math>，香农熵定义为：