更改

跳到导航 跳到搜索
添加92字节 、 2025年1月23日 (四) 09:08
第144行: 第144行:     
=== 统计复杂度===
 
=== 统计复杂度===
 +
 +
====柯氏复杂度的问题====
 
智能体在构建和优化斑图重构机器的过程中,由于计算资源的限制,不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标,以便监控和调整模型的大小,确保模型能匹配已有的计算资源。[[柯式复杂度]][math]\displaystyle{ K(x) }[/math],也就是在通用确定性[[图灵机]](Universal Turing Machine,简称UTM)上运行时生成字符串[math]\displaystyle{ x }[/math]的最小程序长度,是人们常用的一个复杂性度量指标。
 
智能体在构建和优化斑图重构机器的过程中,由于计算资源的限制,不能无限制地增加模型的大小。因此我们需要一个能够量化模型复杂度的指标,以便监控和调整模型的大小,确保模型能匹配已有的计算资源。[[柯式复杂度]][math]\displaystyle{ K(x) }[/math],也就是在通用确定性[[图灵机]](Universal Turing Machine,简称UTM)上运行时生成字符串[math]\displaystyle{ x }[/math]的最小程序长度,是人们常用的一个复杂性度量指标。
    
然而,柯式复杂度存在两个明显的问题,第一个问题是它的不可计算性,柯氏复杂度仅仅是一个理想化的概念;第二个问题是它可能无法度量程序的结构和动态特性。因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特,这就包括随机生成的比特。因此,柯氏复杂度会在随机生成的比特上计算出较大的复杂性,而这与我们的直觉不符:复杂性不能等价于随机性。
 
然而,柯式复杂度存在两个明显的问题,第一个问题是它的不可计算性,柯氏复杂度仅仅是一个理想化的概念;第二个问题是它可能无法度量程序的结构和动态特性。因为柯式复杂度[math]\displaystyle{ K(x) }[/math]需要考虑字符串中的所有比特,这就包括随机生成的比特。因此,柯氏复杂度会在随机生成的比特上计算出较大的复杂性,而这与我们的直觉不符:复杂性不能等价于随机性。
    +
====统计复杂度====
 
为了解决这两个明显问题,计算力学提出了[[统计复杂度]][math]\displaystyle{ C_μ(x) }[/math]的概念,用来量化模型的复杂性,它可以反映[math]\displaystyle{ x }[/math]的结构和[[动态特性]],以及能够计算出有效建模所需的计算资源。它的公式为:
 
为了解决这两个明显问题,计算力学提出了[[统计复杂度]][math]\displaystyle{ C_μ(x) }[/math]的概念,用来量化模型的复杂性,它可以反映[math]\displaystyle{ x }[/math]的结构和[[动态特性]],以及能够计算出有效建模所需的计算资源。它的公式为:
   第163行: 第166行:  
</math>下,能够生成该序列的最小伯努利图灵机的程序长度。
 
</math>下,能够生成该序列的最小伯努利图灵机的程序长度。
   −
这里,[[伯努利图灵机]](Bernoulli-Turing machine,简称BTM)是确定性图灵机的一种扩展。它通过引入随机数发生器,可以生成离散的随机序列。伯努利图灵机包含输入纸带、输出纸带、有限状态控制单元和工作纸带。在运行过程中,伯努利图灵机按照常规图灵机的方式读取纸带上的符号和自身的当前状态,并依据内置的规则表进行操作。与普通图灵机不同的是,其规则表中有一些与随机相关的规则时,它会根据随机数发生器的采样结果来决定具体的执行路径。例如,在某个状态下,图灵机可能有两种可选的操作,普通图灵机根据确定的规则选择其中一种,而伯努利图灵机则通过随机源(即随机数发生器)以一定的概率来决定执行哪一种操作。
+
这里,[[伯努利图灵机]](Bernoulli-Turing machine,简称BTM)是一种[[概率性图灵机]],是确定性图灵机的一种扩展。它通过引入随机数发生器,可以生成离散的随机序列。伯努利图灵机包含输入纸带、输出纸带、有限状态控制单元和工作纸带。在运行过程中,伯努利图灵机按照常规图灵机的方式读取纸带上的符号和自身的当前状态,并依据内置的规则表进行操作。与普通图灵机不同的是,其规则表中有一些与随机相关的规则时,它会根据随机数发生器的采样结果来决定具体的执行路径。例如,在某个状态下,图灵机可能有两种可选的操作,普通图灵机根据确定的规则选择其中一种,而伯努利图灵机则通过随机源(即随机数发生器)以一定的概率来决定执行哪一种操作。
    
<math>M_{\min }(x \mid \mathrm{BTM})</math>代表在能够捕捉数据[math]x[/math]条件下的所有伯努利图灵机中的最小的模型<ref>C. H. Bennett. Dissipation, information, computational complexity, and the definition of organization. In D. Pines, editor, ''Emerging Syntheses in the Sciences''. Addison-Wesley, Redwood City, 1988.</ref>。这个模型是能够有效预测<math>x</math>的最简单形式,且在该模型中尽量减少其复杂性。<math>\left\|⋅\right\|</math>这个符号表示对模型复杂度的量化,例如图灵机的指令表长度。
 
<math>M_{\min }(x \mid \mathrm{BTM})</math>代表在能够捕捉数据[math]x[/math]条件下的所有伯努利图灵机中的最小的模型<ref>C. H. Bennett. Dissipation, information, computational complexity, and the definition of organization. In D. Pines, editor, ''Emerging Syntheses in the Sciences''. Addison-Wesley, Redwood City, 1988.</ref>。这个模型是能够有效预测<math>x</math>的最简单形式,且在该模型中尽量减少其复杂性。<math>\left\|⋅\right\|</math>这个符号表示对模型复杂度的量化,例如图灵机的指令表长度。

导航菜单