3,094
个编辑
更改
跳到导航
跳到搜索
第103行：
第103行： − + − + 第115行：
第115行： − + − + − + − + − x − − −
→统计复杂度
然而，柯式复杂度存在两个明显的问题，第一个问题是它的不可计算性，柯氏复杂度仅仅是一个理想化的概念；第二个问题是它可能无法度量程序的结构和动态特性。因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特，这就包括随机生成的比特。因此，柯氏复杂度会在随机生成的比特上计算出较大的复杂性，而这与我们的直觉不符：复杂性不能等价于随机性。
然而，柯式复杂度存在两个明显的问题，第一个问题是它的不可计算性，柯氏复杂度仅仅是一个理想化的概念；第二个问题是它可能无法度量程序的结构和动态特性。因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特，这就包括随机生成的比特。因此，柯氏复杂度会在随机生成的比特上计算出较大的复杂性，而这与我们的直觉不符：复杂性不能等价于随机性。
为了解决这两个明显问题，计算力学提出了统计复杂度[math]\displaystyle{ C_μ(x) }[/math]的概念，用来量化模型的复杂性，它可以反映[math]\displaystyle{ x }[/math]的结构和[[动态特性]]，以及能够计算出有效建模所需的计算资源。它的公式为
为了解决这两个明显问题，计算力学提出了统计复杂度[math]\displaystyle{ C_μ(x) }[/math]的概念，用来量化模型的复杂性，它可以反映[math]\displaystyle{ x }[/math]的结构和[[动态特性]]，以及能够计算出有效建模所需的计算资源。它的公式为：
<math>
<math>
C_{\mu}(x)=\left\|M_{\min }(x \mid \mathrm{BTM})\right\|
C_{\mu}(x)=\left\|M_{\min }(x \mid \mathrm{BTM})\right\|
</math>
</math>
这里，
<math>
<math>
C_{\mu}(x)
C_{\mu}(x)
</math>的复杂性度量。它反映了在给定精度<math>
</math>的复杂性度量。它反映了在给定精度<math>
\mu
\mu
</math>下，最小模型的复杂度。
</math>下，能够生成该序列的最小伯努利图灵机的程序长度。
[[伯努利图灵机]]（Bernoulli-Turing machine，简称BTM）是确定性通用图灵机的一种扩展，通过引入随机数发生器，可以生成离散的随机序列。伯努利图灵机包含输入纸带、输出纸带、有限状态控制单元和工作纸带。在运行过程中，伯努利图灵机按照常规图灵机的方式读取纸带上的符号和自身的当前状态，并依据内置的规则表进行操作。与普通图灵机不同的是，其规则表中有一些与随机相关的规则时，它会根据随机数发生器的采样结果来决定具体的执行路径。例如，在某个状态下，图灵机可能有两种可选的操作，普通图灵机根据确定的规则选择其中一种，而伯努利图灵机则通过随机源（即随机数发生器）以一定的概率来决定执行哪一种操作。
这里，[[伯努利图灵机]]（Bernoulli-Turing machine，简称BTM）是确定性通用图灵机的一种扩展。它通过引入随机数发生器，可以生成离散的随机序列。伯努利图灵机包含输入纸带、输出纸带、有限状态控制单元和工作纸带。在运行过程中，伯努利图灵机按照常规图灵机的方式读取纸带上的符号和自身的当前状态，并依据内置的规则表进行操作。与普通图灵机不同的是，其规则表中有一些与随机相关的规则时，它会根据随机数发生器的采样结果来决定具体的执行路径。例如，在某个状态下，图灵机可能有两种可选的操作，普通图灵机根据确定的规则选择其中一种，而伯努利图灵机则通过随机源（即随机数发生器）以一定的概率来决定执行哪一种操作。
<math>M_{\min }(x \mid \mathrm{BTM})</math>在给定伯努利图灵机背景下的最小化模型<ref>C. H. Bennett. Dissipation, information, computational complexity, and the definition of organization. In D. Pines, editor, ''Emerging Syntheses in the Sciences''. Addison-Wesley,
<math>M_{\min }(x \mid \mathrm{BTM})</math>代表在能够捕捉数据[math]x[/math]条件下的所有伯努利图灵机中的最小的模型<ref>C. H. Bennett. Dissipation, information, computational complexity, and the definition of organization. In D. Pines, editor, ''Emerging Syntheses in the Sciences''. Addison-Wesley,
Redwood City, 1988.</ref>，用于捕捉序列<math>x</math>的模式。这个模型是能够有效预测<math>
Redwood City, 1988.</ref>。这个模型是能够有效预测<math>x</math>的最简单形式，且在该模型中尽量减少其复杂性。<math>\left\|⋅\right\|</math>这个符号表示对模型复杂度的量化。由于内部模型（ϵ-machine）作为一种伯努利图灵机，本身也是用字符串（因果态）来描述，所以可以用长度、香农熵等指标来度量内部模型的复杂度。当我们使用香农熵来刻画内部模型的复杂度时，我们可以给出对于观测序列来说一个等价的可计算的定义<ref name=':15' />：
</math>的最简单形式，且在该模型中尽量减少其复杂性。<math>
\left\|⋅\right\|
</math>这个符号表示对模型复杂度的量化。由于内部模型（ϵ-machine）作为一种伯努利图灵机，本身也是用字符串（因果态）来描述，所以可以用长度、香农熵等指标来度量内部模型的复杂度。当我们使用香农熵来刻画内部模型的复杂度时，我们可以给出对于观测序列来说一个等价的可计算的定义<ref name=':15' />：
<math>C_\mu(\mathcal{x})\equiv H[\mathcal{S}] </math>，其中<math>\mathcal{S} </math>为观测数据<math>\mathcal{x} </math>的因果态集合。
<math>C_\mu(\mathcal{x})\equiv H[\mathcal{S}] </math>，其中<math>\mathcal{S} </math>为观测数据<math>\mathcal{x} </math>的因果态集合。