275
个编辑
更改
→统计复杂度
=== 柯氏复杂度 ===
=== 柯氏复杂度 ===
柯式复杂度[math]\displaystyle{ K(x) }[/math]是指在通用确定性[[图灵机]]（UTM）上运行时输出的最小程序所需的比特数。不同的程序语言描述同一程序的[math]\displaystyle{ K(x) }[/math]是可以比较的，但也无法确定哪种程序语言有最小的[math]\displaystyle{ K(x) }[/math]，同一种程序语言在描述不同程序时[math]\displaystyle{ K(x) }[/math]也并不相同，所以柯式复杂度通常是不可计算的。如果待测对象是由信息源（例如马尔可夫链）生成的离散符号序列[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，其柯式复杂度的香农熵率[math]\displaystyle{ h_μ }[/math]为：
柯式复杂度[math]\displaystyle{ K(x) }[/math]是指在通用确定性[[图灵机]]（Universal Turing Machine，简称UTM）上运行时输出的最小程序所需的比特数。不同的程序语言描述同一程序的[math]\displaystyle{ K(x) }[/math]是可以比较的，但也无法确定哪种程序语言有最小的[math]\displaystyle{ K(x) }[/math]，同一种程序语言在描述不同程序时[math]\displaystyle{ K(x) }[/math]也并不相同，所以柯式复杂度通常是不可计算的。如果待测对象是由信息源（例如马尔可夫链）生成的离散符号序列[math]\displaystyle{ s^L }[/math] ，[math]\displaystyle{ L }[/math]为序列的长度，其柯式复杂度的香农熵率[math]\displaystyle{ h_μ }[/math]为：
<nowiki>[math]\displaystyle{ \frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} }[/math]，转化为公式形式为：[math]\displaystyle{ h_\mu=\lim_{L\to\infty}\frac{H(\Pr(s^L))}L }[/math]</nowiki>
<nowiki>[math]\displaystyle{ \frac{K\left(s^{L}\right)}{L}\underset{L\to\infty}{\operatorname*{\operatorname*{\operatorname*{\rightarrow}}}}h_{\mu} }[/math]，转化为公式形式为：[math]\displaystyle{ h_\mu=\lim_{L\to\infty}\frac{H(\Pr(s^L))}L }[/math]</nowiki>
=== '''统计复杂度''' ===
=== '''统计复杂度''' ===
粗略地说，柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑对象中的所有比特，包括随机比特。其主要后果是[math]\displaystyle{ K(x) }[/math]中数值[math]\displaystyle{ x }[/math]被随机性的生成所主导，因此掩盖了对象以及其生成过程中的重要结构。相比之下，统计复杂度[math]\displaystyle{ C_μ(x) }[/math]剔除了通用图灵机在模拟中随机比特时所花费的计算努力。统计复杂度的一个定义性特征是，对于完全随机对象[math]\displaystyle{ C_μ(x)=0 }[/math]，如抛硬币产生的序列，同时对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]时，也有[math]\displaystyle{ C_μ(x)=0 }[/math]。因此，统计复杂度的值对于（简单的）周期性过程和完全随机过程都很小。如果[math]\displaystyle{ s^L }[/math]表示[math]\displaystyle{ x }[/math]的前[math]\displaystyle{ L }[/math]个符号，那么复杂性之间的关系简单地为：
粗略地说，柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑对象中的所有比特，包括随机状态。其主要后果是[math]\displaystyle{ K(x) }[/math]中数值[math]\displaystyle{ x }[/math]被随机性的生成所主导，因此掩盖了对象以及其生成过程中的重要结构。相比之下，统计复杂度[math]\displaystyle{ C_μ(x) }[/math]剔除了通用图灵机在模拟中随机比特时所花费的计算努力。统计复杂度的一个定义性特征是，对于完全随机对象[math]\displaystyle{ C_μ(x)=0 }[/math]，如抛硬币产生的序列，同时对于简单的周期性过程，如[math]\displaystyle{ x=00000000…0 }[/math]时，也有[math]\displaystyle{ C_μ(x)=0 }[/math]。因此，统计复杂度的值对于（简单的）周期性过程和完全随机过程都很小。如果[math]\displaystyle{ s^L }[/math]表示[math]\displaystyle{ x }[/math]的前[math]\displaystyle{ L }[/math]个符号，那么复杂性之间的关系简单地为：
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h_μ L }[/math]
[math]\displaystyle{ K(s^L )≈C_μ (s^L )+h_μ L }[/math]