更改

跳到导航 跳到搜索
删除800字节 、 2025年11月2日 (日) 12:17
第8行: 第8行:     
==== 面积与体积的变化关系 ====
 
==== 面积与体积的变化关系 ====
−
假设一个立方体边长为 [math]L[/math]:面积 [math]A \propto L^2[/math],体积 [math]V \propto L^3[/math],因此,当边长增大一倍时:面积只增加 [math]2^2 = 4[/math] 倍,体积却增加 [math]2^3 = 8[/math] 倍 <ref name=":4" />。因此,当一个几何体生长的时候,它的体积会比表面积增长得更快。
+
假设一个立方体边长为 [math]L[/math]:面积 [math]A \propto L^2[/math],体积 [math]V \propto L^3[/math],因此,当边长增大一倍时:面积只增加 [math]2^2 = 4[/math] 倍,体积却增加 [math]2^3 = 8[/math] 倍。因此,当一个几何体生长的时候,它的体积会比表面积增长得更快。
    
==== 强度与重量的矛盾 ====
 
==== 强度与重量的矛盾 ====
−
几何体的横截面积[math]A[/math]往往也随着物体的长度而呈现2次方增长关系。进一步,支撑物体的应力强度[math]S[/math]通常也正比于横截面面积,因此 [math]S \propto A \propto L^2[/math];而物体重量 [math]W \propto V \propto L^3[/math]。 <ref name=":4" /> 伽利略用这一几何关系强调:在放大过程中,物体体积(重量)增长速度快于面积(支撑力),这意味着随着体型增大,相对强度会降低。伽利略甚至打趣道:“一只小狗能背两三只与它体型相当的小狗,但一匹马却驮不起一匹与自身一样大小的马”。这一结论后来成为现代工程设计的尺度基础,例如桥梁与高塔必须随着高度增加而加粗支撑柱。
+
几何体的横截面积[math]A[/math]往往也随着物体的长度而呈现2次方增长关系。进一步,支撑物体的应力强度[math]S[/math]通常也正比于横截面面积,因此 [math]S \propto A \propto L^2[/math];而物体重量 [math]W \propto V \propto L^3[/math]。 伽利略用这一几何关系强调:在放大过程中,物体体积(重量)增长速度快于面积(支撑力),这意味着随着体型增大,相对强度会降低。伽利略甚至打趣道:“一只小狗能背两三只与它体型相当的小狗,但一匹马却驮不起一匹与自身一样大小的马”。这一结论后来成为现代工程设计的尺度基础,例如桥梁与高塔必须随着高度增加而加粗支撑柱。
    
对于一个动物体来说,它的大腿的横截面积也会随着动物体的身长呈现平方增长的关系,而它的体重会正比于体积,因而呈现出随身长的三次幂增长关系。也就是说,体重要比横截面积增长的更快。因此,大型生物体必须演化出更加粗壮的大腿,才能够支撑它们庞大的体重。正因如此,老鼠的腿细长而灵活,而大象的腿却像柱子一般粗壮。这些直观的自然现象,都是幂律缩放规律的推论。另外,我们在地球表面很难观察到比长颈鹿或大象更大型的动物,海洋里反而存在着体积更大的动物,如鲸,这是因为海水的浮力可以对抗鲸类巨大的体重。
 
对于一个动物体来说,它的大腿的横截面积也会随着动物体的身长呈现平方增长的关系,而它的体重会正比于体积,因而呈现出随身长的三次幂增长关系。也就是说,体重要比横截面积增长的更快。因此,大型生物体必须演化出更加粗壮的大腿,才能够支撑它们庞大的体重。正因如此,老鼠的腿细长而灵活,而大象的腿却像柱子一般粗壮。这些直观的自然现象,都是幂律缩放规律的推论。另外,我们在地球表面很难观察到比长颈鹿或大象更大型的动物,海洋里反而存在着体积更大的动物,如鲸,这是因为海水的浮力可以对抗鲸类巨大的体重。
第29行: 第29行:     
==== 数量级与对数表示 ====
 
==== 数量级与对数表示 ====
−
在规模分析的框架下,数量级和对数刻度是两个极为重要的概念。数量级(order of magnitude)指的是一个数值以 10 为底的幂次表示方式,用于描述跨越巨大尺度的变化。例如,[math]\displaystyle 10^1, 10^2, 10^3, \dots[/math]分别代表十、百、千这样成倍扩展的规模。对数刻度则能将这种指数关系转化为线性关系:[math]\displaystyle \log y = \alpha \log x + \log k[/math] <ref name=":4" />
+
在规模分析的框架下,数量级和对数刻度是两个极为重要的概念<ref name=":4" />。数量级(order of magnitude)指的是一个数值以 10 为底的幂次表示方式,用于描述跨越巨大尺度的变化。例如,[math]\displaystyle 10^1, 10^2, 10^3, \dots[/math]分别代表十、百、千这样成倍扩展的规模。对数刻度则能将这种指数关系转化为线性关系:[math]\displaystyle \log y = \alpha \log x + \log k[/math]。
    
==== 应用实例: ====
 
==== 应用实例: ====
−
地震的里氏震级:地震波幅度每增加 1 个数量级,释放能量增加约 [math]10^{1.5} \approx 31.6[/math] 倍<ref name=":4" />。
+
地震的里氏震级:地震波幅度每增加 1 个数量级,释放能量增加约 [math]10^{1.5} \approx 31.6[/math] 倍。
   −
药物剂量:动物与人体之间剂量并非线性缩放,而是依赖代谢率等幂律规律。大象LSD实验的失败就是线性思维的错误案例<ref name=":4" />。
+
药物剂量:动物与人体之间剂量并非线性缩放,而是依赖代谢率等幂律规律。大象LSD实验的失败就是线性思维的错误案例。
   −
大东方号:船舶载重量 [math]\propto L^3[/math],而阻力 [math]\propto L^2[/math],所以越大的船运输效率越高,这体现了规模经济<ref name=":4" />。
+
大东方号:船舶载重量 [math]\propto L^3[/math],而阻力 [math]\propto L^2[/math],所以越大的船运输效率越高,这体现了规模经济。
    
=== 无量纲尺度和尺度不变量 ===
 
=== 无量纲尺度和尺度不变量 ===
第43行: 第43行:  
在规模法则的一般形式中:
 
在规模法则的一般形式中:
   −
[math]\displaystyle y = k x^\alpha[/math] <ref name=":4" />,
+
[math]\displaystyle y = k x^\alpha[/math],
    
指数 [math]\alpha[/math] 决定了量随尺度的非线性变化。许多自然规律不仅表现为这种幂律关系,还具有“尺度不变性”:即规律在不同单位或尺度下保持相同形式。这时就需要借助无量纲数来表达。从广义上来看,无量纲常数其实就相当于幂指数为0的特殊幂律关系,因此,围绕着无量纲量发展起来的[[量纲分析]]可以看作是规模分析方法的泛化。
 
指数 [math]\alpha[/math] 决定了量随尺度的非线性变化。许多自然规律不仅表现为这种幂律关系,还具有“尺度不变性”:即规律在不同单位或尺度下保持相同形式。这时就需要借助无量纲数来表达。从广义上来看,无量纲常数其实就相当于幂指数为0的特殊幂律关系,因此,围绕着无量纲量发展起来的[[量纲分析]]可以看作是规模分析方法的泛化。
第49行: 第49行:  
无量纲量(dimensionless numbers)是由若干物理量组合成的纯数,它不依赖单位选择,能揭示不同系统在本质上的相似性。圆周率 [math]\pi = \frac{C}{D}[/math] 就是最简单的例子(这里C是周长,D是圆的直径)。工程与物理中更典型的是弗劳德数
 
无量纲量(dimensionless numbers)是由若干物理量组合成的纯数,它不依赖单位选择,能揭示不同系统在本质上的相似性。圆周率 [math]\pi = \frac{C}{D}[/math] 就是最简单的例子(这里C是周长,D是圆的直径)。工程与物理中更典型的是弗劳德数
   −
<nowiki>[math]\displaystyle Fr = \frac{v}{\sqrt{gL}}[/math] </nowiki><ref name=":4" />
+
<nowiki>[math]\displaystyle Fr = \frac{v}{\sqrt{gL}}[/math]</nowiki>
    
它比较了惯性力与重力的相对大小,决定了船只、波浪等运动的相似性。瑞利勋爵在 19 世纪提出“相似法则”时强调,所有物理规律必须能写成无量纲数之间的关系:
 
它比较了惯性力与重力的相对大小,决定了船只、波浪等运动的相似性。瑞利勋爵在 19 世纪提出“相似法则”时强调,所有物理规律必须能写成无量纲数之间的关系:
   −
[math]\displaystyle f(\Pi_1, \Pi_2, \dots, \Pi_n) = 0[/math] <ref name=":4" />
+
[math]\displaystyle f(\Pi_1, \Pi_2, \dots, \Pi_n) = 0[/math]
    
这实际上是规模法则在数学上的推广形式,保证规律在不同尺度和单位下都成立。
 
这实际上是规模法则在数学上的推广形式,保证规律在不同尺度和单位下都成立。
第1,037行: 第1,037行:     
===== 理论背景与核心思想 =====
 
===== 理论背景与核心思想 =====
−
实证研究揭示,生物体的代谢率 (B) 与其体重 (M) 之间的关系遵循克莱伯定律 (Kleiber's Law),其标度指数接近 [math]3/4[/math],即 [math]B \propto M^{3/4}[/math] 。这一发现与基于简单三维几何模型的预测存在显著差异,即代谢率应与表面积成正比,从而与体重的 [math]2/3[/math] 次幂成正比 ([math]F \propto M^{2/3}[/math])<ref name=":1" />。为了解释 [math]3/4[/math] 的指数,物理学家杰弗里·韦斯特 (Geoffrey West)、生态学家詹姆斯·布朗 (James Brown) 和布莱恩·恩奎斯特 (Brian Enquist) 提出了“生命的第四维”这一概念。
+
实证研究揭示,生物体的代谢率 (B) 与其体重 (M) 之间的关系遵循克莱伯定律 (Kleiber's Law)<ref name=":1" />,其标度指数接近 [math]3/4[/math],即 [math]B \propto M^{3/4}[/math] 。这一发现与基于简单三维几何模型的预测存在显著差异,即代谢率应与表面积成正比,从而与体重的 [math]2/3[/math] 次幂成正比 ([math]F \propto M^{2/3}[/math])。为了解释 [math]3/4[/math] 的指数,物理学家杰弗里·韦斯特 (Geoffrey West)、生态学家詹姆斯·布朗 (James Brown) 和布莱恩·恩奎斯特 (Brian Enquist) 提出了“生命的第四维”这一概念。
    
生命的第四维的核心观点是,生物体为了在有限的三维体积内最大化物质与能量的交换效率,其内部负责新陈代谢的关键表面(例如循环系统的血管网络、呼吸系统的肺泡、消化系统的肠道等)演化出了高度褶皱和扭曲的分形结构。这种分形几何特性使得一个二维的表面能够有效地填充三维空间,从而使其维度从欧几里得维度2提升至分形维度3。
 
生命的第四维的核心观点是,生物体为了在有限的三维体积内最大化物质与能量的交换效率,其内部负责新陈代谢的关键表面(例如循环系统的血管网络、呼吸系统的肺泡、消化系统的肠道等)演化出了高度褶皱和扭曲的分形结构。这种分形几何特性使得一个二维的表面能够有效地填充三维空间,从而使其维度从欧几里得维度2提升至分形维度3。
第1,092行: 第1,092行:     
==== Banavar 模型 ====
 
==== Banavar 模型 ====
−
Banavar, Maritan和Rinaldo (1999)研究了高效运输网络中的大小和形式关系。他们的研究表明,许多生物过程都以异速标度(幂律)关系为特征。一个突出的问题是典型的异速标度关系,生物速率对体重的幂律依赖。
+
Banavar, Maritan和Rinaldo (1999)研究了高效运输网络中的大小和形式关系。他们的研究表明,许多生物过程都以异速标度(幂律)关系为特征<ref name=":6">Dreyer, O. (2001). Allometric scaling and central source systems. Physical Review Letters, 87(3), 38101-1-38101–38103</ref>。一个突出的问题是典型的异速标度关系,生物速率对体重的幂律依赖。
    
自然界中的分布式网络源于有效连接的需要,既存在于生物系统中,如心血管和呼吸网络以及植物的维管和根系统,也存在于无机系统中,如河流流域的排水网络。他们推导了任意网络中大小和流率之间的一般关系,并提供了一个统一的框架来解释异速标度。
 
自然界中的分布式网络源于有效连接的需要,既存在于生物系统中,如心血管和呼吸网络以及植物的维管和根系统,也存在于无机系统中,如河流流域的排水网络。他们推导了任意网络中大小和流率之间的一般关系,并提供了一个统一的框架来解释异速标度。
   −
对于D维空间中的运输网络,他们证明了一个关键定理:[math]\displaystyle{ C \geq L^{D+1} }[/math] <ref name=":5">Banavar, J. R., Maritan, A., & Rinaldo, A. (1999). Size andform in effcient transportation networks. 399(May 1999), 1998–2000.</ref>,等价地,转移站点数B的标度最多为[math]\displaystyle{ C^{D/(D+1)} }[/math],最少为[math]\displaystyle{ C^{1/2} }[/math]。一个简单的论证是C等于转移站点数([math]\displaystyle{ L^D }[/math])乘以转移站点到源的平均距离。
+
对于D维空间中的运输网络,他们证明了一个关键定理:[math]\displaystyle{ C \geq L^{D+1} }[/math],等价地,转移站点数B的标度最多为[math]\displaystyle{ C^{D/(D+1)} }[/math],最少为[math]\displaystyle{ C^{1/2} }[/math]。一个简单的论证是C等于转移站点数([math]\displaystyle{ L^D }[/math])乘以转移站点到源的平均距离。
   −
对于最有效的网络类别,[math]\displaystyle{ C \propto L^{D+1} }[/math] <ref name=":5" />。总血容量增长得比代谢率B快,因为生物体的特征尺度增大。因此,较大的生物体每单位血容量的转移位点数量(因此B)较低。由于生物体质量至少按C标度,代谢率不与质量呈线性标度,而是按[math]\displaystyle{ M^{D/(D+1)} }[/math]标度。在非生物学背景下,转移站点数与服务区域的体积成正比,这反过来导致了一种新的质量-体积关系。他们的理论预测,对于有效流域(drainage basin),C与A的对数-对数图应该有3/2的斜率,因为D=2,自然界中的河网是已知的有效和定向的。他们的观测数据在五个尺度级上证实了预测。
+
对于最有效的网络类别,[math]\displaystyle{ C \propto L^{D+1} }[/math]。总血容量增长得比代谢率B快,因为生物体的特征尺度增大。因此,较大的生物体每单位血容量的转移位点数量(因此B)较低。由于生物体质量至少按C标度,代谢率不与质量呈线性标度,而是按[math]\displaystyle{ M^{D/(D+1)} }[/math]标度。在非生物学背景下,转移站点数与服务区域的体积成正比,这反过来导致了一种新的质量-体积关系。他们的理论预测,对于有效流域(drainage basin),C与A的对数-对数图应该有3/2的斜率,因为D=2,自然界中的河网是已知的有效和定向的。他们的观测数据在五个尺度级上证实了预测。
    
尽管具体细节变化很大,但内置于高效运输网络中的行为为异速标度的多样化系统提供了统一的框架。他们分析显示基本结果不需要关于网络分层性质的任何假设,也不一定需要树状结构。然而,树的存在会大大缩短网络的总长度,从而增加其可行性和效率。
 
尽管具体细节变化很大,但内置于高效运输网络中的行为为异速标度的多样化系统提供了统一的框架。他们分析显示基本结果不需要关于网络分层性质的任何假设,也不一定需要树状结构。然而,树的存在会大大缩短网络的总长度,从而增加其可行性和效率。
    
==== Dreyer模型 ====
 
==== Dreyer模型 ====
−
Dreyer (2001) 在 Banavar 的基础上提出了中央源系统的异速标度理论。他指出,异速标度关系在自然界中大量存在,包括动植物代谢率与其质量的幂律关系,以及河流流域大小与其所含水量总量的幂律关系。对于动物和植物,代谢率B与质量M通过幂律相关:[math]\displaystyle{ B = B_0M^{3/4} }[/math]<ref name=":6">Dreyer, O. (2001). Allometric scaling and central source systems. Physical Review Letters, 87(3), 38101-1-38101–38103</ref>。对于动物,这个关系被称为克莱伯定律。
+
Dreyer (2001) 在 Banavar 的基础上提出了中央源系统的异速标度理论。他指出,异速标度关系在自然界中大量存在,包括动植物代谢率与其质量的幂律关系,以及河流流域大小与其所含水量总量的幂律关系<ref name=":6" />。对于动物和植物,代谢率B与质量M通过幂律相关:[math]\displaystyle{ B = B_0M^{3/4} }[/math]。对于动物,这个关系被称为克莱伯定律。
   −
对于河流,流域(drainage basin)的大小A和河流中包含的水的总量M满足:[math]\displaystyle{ A = A_0M^{2/3} }[/math]<ref name=":6" />。在一维系统的实验中,水在组织上的质量M和长度L通过以下等式相关:[math]\displaystyle{ L = L_0M^{1/2} }[/math]<ref name=":6" />。
+
对于河流,流域(drainage basin)的大小A和河流中包含的水的总量M满足:[math]\displaystyle{ A = A_0M^{2/3} }[/math]。在一维系统的实验中,水在组织上的质量M和长度L通过以下等式相关:[math]\displaystyle{ L = L_0M^{1/2} }[/math]。
    
所有这些例子中的标度指数都是[math]\displaystyle{ D/(D+1) }[/math]的形式,其中D是系统的空间维数。Dreyer证明了如果一个系统是中央源系统,它将显示这种具有特征[math]\displaystyle{ D/(D+1) }[/math]标度指数的标度类型。他的结果表明,很少的假设需要解释这里讨论的异速标度定律类别。结果的一般性与幂律的广泛有效性很好地共鸣。他的解释与Banavar等人给出的解释非常一致,后者处理离散运输网络。
 
所有这些例子中的标度指数都是[math]\displaystyle{ D/(D+1) }[/math]的形式,其中D是系统的空间维数。Dreyer证明了如果一个系统是中央源系统,它将显示这种具有特征[math]\displaystyle{ D/(D+1) }[/math]标度指数的标度类型。他的结果表明,很少的假设需要解释这里讨论的异速标度定律类别。结果的一般性与幂律的广泛有效性很好地共鸣。他的解释与Banavar等人给出的解释非常一致,后者处理离散运输网络。
第1,112行: 第1,112行:     
=== 其他 ===
 
=== 其他 ===
−
Glazier (2014) 回顾并综合了关于代谢率与系统大小的标度关系的理论,因为单一模型无法解释复杂的代谢标度现象,因此他提出了情境多模态理论(Contextual Multimodal Theory, CMT)<ref name=":7">Glazier, D. S. (2014). Metabolic scaling in complex living systems. Systems, 2(4), 451–540.</ref>,作为对单一机制模型的补充与整合。CMT 强调,代谢标度并非由某一个固定的物理约束决定,而是受到不同生物学机制和环境因子的共同影响。该理论将现有解释框架归纳为四个主要模块:表面积模型(SA)、资源运输模型(RT)、系统组成模型(SC)和资源需求模型(RD)。不同情境下,这些模块的相对作用权重会发生变化,从而导致标度指数 [math]\displaystyle{b}[/math] 在不同范围内波动(通常在 [math]\displaystyle{2/3}[/math] 到 [math]\displaystyle{1}[/math] 之间)<ref name=":7" />。
+
Glazier (2014) 回顾并综合了关于代谢率与系统大小的标度关系的理论,因为单一模型无法解释复杂的代谢标度现象,因此他提出了情境多模态理论(Contextual Multimodal Theory, CMT)<ref name=":7">Glazier, D. S. (2014). Metabolic scaling in complex living systems. Systems, 2(4), 451–540.</ref>,作为对单一机制模型的补充与整合。CMT 强调,代谢标度并非由某一个固定的物理约束决定,而是受到不同生物学机制和环境因子的共同影响。该理论将现有解释框架归纳为四个主要模块:表面积模型(SA)、资源运输模型(RT)、系统组成模型(SC)和资源需求模型(RD)。不同情境下,这些模块的相对作用权重会发生变化,从而导致标度指数 [math]\displaystyle{b}[/math] 在不同范围内波动(通常在 [math]\displaystyle{2/3}[/math] 到 [math]\displaystyle{1}[/math] 之间)。
    
== 城市规模法则 ==
 
== 城市规模法则 ==
第1,126行: 第1,126行:  
贝当古模型的关键来自于对实证数据的深入观察:基础设施相关指数(约0.85)与社会产出相关指数(约1.15)之和近似等于2。这一规律性意味着人均基础设施与人均产出的乘积保持为一个规模无关的常数:
 
贝当古模型的关键来自于对实证数据的深入观察:基础设施相关指数(约0.85)与社会产出相关指数(约1.15)之和近似等于2。这一规律性意味着人均基础设施与人均产出的乘积保持为一个规模无关的常数:
   −
[math]\displaystyle{ \frac{A_n}{N} \cdot \frac{Y}{N} = G }[/math] <ref name=":8" />
+
[math]\displaystyle{ \frac{A_n}{N} \cdot \frac{Y}{N} = G }[/math]
    
这个约束条件G揭示了城市发展中一个根本性的权衡关系:城市的物理空间(基础设施)与社会交互空间之间存在内在张力。社会互动越密集的城市,其人均可用的物理基础设施就越有限;反之,基础设施人均占有量较高的城市,社会交互的强度相对较低。这种权衡关系不仅解释了为什么大城市居民通常面临更拥挤的居住环境和更高的生活成本,也说明了为什么他们能够获得更多的经济机会和创新资源。
 
这个约束条件G揭示了城市发展中一个根本性的权衡关系:城市的物理空间(基础设施)与社会交互空间之间存在内在张力。社会互动越密集的城市,其人均可用的物理基础设施就越有限;反之,基础设施人均占有量较高的城市,社会交互的强度相对较低。这种权衡关系不仅解释了为什么大城市居民通常面临更拥挤的居住环境和更高的生活成本,也说明了为什么他们能够获得更多的经济机会和创新资源。
第1,144行: 第1,144行:     
=== 匹配生长模型 ===
 
=== 匹配生长模型 ===
−
匹配生长随机几何图模型是一个统一的理论框架,用于解释复杂系统生长过程中的两类普遍现象:相互作用的超线性生长和多样性的亚线性生长。该模型不仅适用于城市系统,还能解释生态网络、社交网络等多种复杂系统的演化规律。
+
匹配生长随机几何图模型是一个统一的理论框架,用于解释复杂系统生长过程中的两类普遍现象:相互作用的超线性生长和多样性的亚线性生长。该模型不仅适用于城市系统,还能解释生态网络、社交网络等多种复杂系统的演化规律<ref name=":9">[[匹配生长随机几何图模型]]</ref>。
    
==== 基本理论框架 ====
 
==== 基本理论框架 ====
 
对于任何生长的复杂系统,当将其视为复杂网络时,通常满足统一的幂律关系:
 
对于任何生长的复杂系统,当将其视为复杂网络时,通常满足统一的幂律关系:
   −
[math]\displaystyle{ Y \propto N^{\gamma} }[/math] <ref name=":9">[[匹配生长随机几何图模型]]</ref>
+
[math]\displaystyle{ Y \propto N^{\gamma} }[/math]
   −
其中 [math]\displaystyle{N}[/math] 表示网络节点数,[math]\displaystyle{Y}[/math] 可表示连边数或节点种类数。当 [math]\displaystyle{Y}[/math] 表示连边数时,[math]\displaystyle{\gamma > 1}[/math](超线性增长);当表示节点种类数时,[math]\displaystyle{\gamma < 1}[/math](亚线性增长)<ref name=":9" />。
+
其中 [math]\displaystyle{N}[/math] 表示网络节点数,[math]\displaystyle{Y}[/math] 可表示连边数或节点种类数。当 [math]\displaystyle{Y}[/math] 表示连边数时,[math]\displaystyle{\gamma > 1}[/math](超线性增长);当表示节点种类数时,[math]\displaystyle{\gamma < 1}[/math](亚线性增长)。
    
模型基于四个核心假设:网络单调生长、节点可嵌入欧氏空间、节点相互作用局部性、以及新节点必须与现有节点相互作用才能存活(匹配生长机制)。
 
模型基于四个核心假设:网络单调生长、节点可嵌入欧氏空间、节点相互作用局部性、以及新节点必须与现有节点相互作用才能存活(匹配生长机制)。
第1,158行: 第1,158行:  
在 [math]\displaystyle{d}[/math] 维空间中,模型预测出以下精确的标度关系:
 
在 [math]\displaystyle{d}[/math] 维空间中,模型预测出以下精确的标度关系:
   −
* <nowiki>连边数超线性增长:[math]\displaystyle{ E \propto N^{\frac{d+2}{d+1}} }[/math]</nowiki><ref name=":9" />
+
* <nowiki>连边数超线性增长:[math]\displaystyle{ E \propto N^{\frac{d+2}{d+1}} }[/math]</nowiki>
−
* <nowiki>多样性亚线性增长:[math]\displaystyle{ V \propto N^{\frac{d}{d+1}} }[/math]</nowiki><ref name=":9" />
+
* <nowiki>多样性亚线性增长:[math]\displaystyle{ V \propto N^{\frac{d}{d+1}} }[/math]</nowiki>
−
* <nowiki>时间加速增长:[math]\displaystyle{ t \propto N^{\frac{1}{d+1}} }[/math]</nowiki><ref name=":9" />
+
* <nowiki>时间加速增长:[math]\displaystyle{ t \propto N^{\frac{1}{d+1}} }[/math]</nowiki>
    
==== 空间吸引机制 ====
 
==== 空间吸引机制 ====
−
Li 等人 (2017) 提出了一个结合空间吸引与匹配生长机制的简单模型,用于解释城市内部人口、道路和社会经济互动的空间分布及其背后的标度规律。他们认为,城市不仅是人口的聚集,还包括道路与互动网络的协同演化,这三者遵循统一的空间标度框架。
+
Li 等人 (2017) 提出了一个结合空间吸引与匹配生长机制的简单模型,用于解释城市内部人口、道路和社会经济互动的空间分布及其背后的标度规律。他们认为,城市不仅是人口的聚集,还包括道路与互动网络的协同演化,这三者遵循统一的空间标度框架<ref name=":9" />。
    
模型的核心思想是:新形成的“活跃社区”(active population, AP)在空间上按照一定概率出现,其位置受现有人口密度与空地吸引力的共同作用。形式上,新节点在位置 [math]\displaystyle{(r,\theta)}[/math] 出现的概率为:
 
模型的核心思想是:新形成的“活跃社区”(active population, AP)在空间上按照一定概率出现,其位置受现有人口密度与空地吸引力的共同作用。形式上,新节点在位置 [math]\displaystyle{(r,\theta)}[/math] 出现的概率为:
   −
[math]\displaystyle{ P(r,\theta,t) \propto \rho(r,\theta,t) + C }[/math]<ref name=":9" />
+
[math]\displaystyle{ P(r,\theta,t) \propto \rho(r,\theta,t) + C }[/math]
    
其中 [math]\displaystyle{\rho(r,\theta,t)}[/math] 为局部人口密度,[math]\displaystyle{C}[/math] 表示空地的吸引强度。当新节点距离现有节点过远时,因连接成本过高而无法存活,这就是“匹配生长”机制。
 
其中 [math]\displaystyle{\rho(r,\theta,t)}[/math] 为局部人口密度,[math]\displaystyle{C}[/math] 表示空地的吸引强度。当新节点距离现有节点过远时,因连接成本过高而无法存活,这就是“匹配生长”机制。
第1,173行: 第1,173行:  
在此框架下,人口密度随中心距离衰减满足幂律:
 
在此框架下,人口密度随中心距离衰减满足幂律:
   −
[math]\displaystyle{ \rho(r,t) \propto r^{-\beta} }[/math]<ref name=":9" />
+
[math]\displaystyle{ \rho(r,t) \propto r^{-\beta} }[/math]
    
进一步积分得到累积人口:
 
进一步积分得到累积人口:
   −
[math]\displaystyle{ P(r,t) \propto r^{2-\beta} }[/math]<ref name=":9" />
+
[math]\displaystyle{ P(r,t) \propto r^{2-\beta} }[/math]
    
相应地,道路长度和社会经济互动的累积量分别满足:
 
相应地,道路长度和社会经济互动的累积量分别满足:
   −
[math]\displaystyle{ L(r,t) \propto r^{2-\beta/2} }[/math]<ref name=":9" />
+
[math]\displaystyle{ L(r,t) \propto r^{2-\beta/2} }[/math]
   −
[math]\displaystyle{ G(r,t) \propto r^{2-3\beta/2} }[/math]<ref name=":9" />
+
[math]\displaystyle{ G(r,t) \propto r^{2-3\beta/2} }[/math]
    
这些空间标度关系不仅能从单一观测量推导出其他城市要素的分布,还能解释宏观上的超线性(如 GDP ∝ N^7/6)与次线性(如道路长度 ∝ N^5/6)的聚合标度规律。
 
这些空间标度关系不仅能从单一观测量推导出其他城市要素的分布,还能解释宏观上的超线性(如 GDP ∝ N^7/6)与次线性(如道路长度 ∝ N^5/6)的聚合标度规律。
第1,194行: 第1,194行:  
这些模型大致可以分为两类:
 
这些模型大致可以分为两类:
   −
# 城市内部模型(Intra-city models):强调城市内部人口互动和几何结构。例如,Bettencourt 模型把人类互动视为几何交叉截面,推导出城市面积与人口的 [math]\displaystyle{2/3}[/math] 次幂关系以及 GDP 的 [math]\displaystyle{7/6}[/math] 超线性关系;重力模型则假设个体间的互动概率随距离衰减,结合城市的分形空间结构,导出超线性标度指数 [math]\displaystyle{\beta = 2 - \gamma / D_p}[/math]<ref name=":10" />。
+
# 城市内部模型(Intra-city models):强调城市内部人口互动和几何结构。例如,Bettencourt 模型把人类互动视为几何交叉截面,推导出城市面积与人口的 [math]\displaystyle{2/3}[/math] 次幂关系以及 GDP 的 [math]\displaystyle{7/6}[/math] 超线性关系;重力模型则假设个体间的互动概率随距离衰减,结合城市的分形空间结构,导出超线性标度指数 [math]\displaystyle{\beta = 2 - \gamma / D_p}[/math]。
 
# 城市间模型(Inter-city models):强调城市之间的扩散与层级结构,例如基于 Zipf 定律的层级扩散模型,将创新传播和城市规模分布联系起来<ref name=":10" />。
 
# 城市间模型(Inter-city models):强调城市之间的扩散与层级结构,例如基于 Zipf 定律的层级扩散模型,将创新传播和城市规模分布联系起来<ref name=":10" />。
   第1,208行: 第1,208行:  
在生态流网络中,物种的总能量通量 (throughflow) [math]\displaystyle A_i[/math] 与其在整个网络中的间接影响 [math]\displaystyle C_i[/math] 之间存在幂律关系:
 
在生态流网络中,物种的总能量通量 (throughflow) [math]\displaystyle A_i[/math] 与其在整个网络中的间接影响 [math]\displaystyle C_i[/math] 之间存在幂律关系:
   −
[math]\displaystyle C_i \propto A_i^{\eta},[/math] <ref name=":13" />
+
[math]\displaystyle C_i \propto A_i^{\eta},[/math]
    
其中 [math]\displaystyle g[/math] 为异速指数 (allometric exponent)。作者在 19 个实证生态系统(包括海湾、河口、湿地等)的能量流网络中发现,这种异速关系普遍存在,指数 [math]\displaystyle g[/math] 介于 [math]\displaystyle0.83[/math] 至 [math]\displaystyle1.05[/math] 之间,大多数略高于 [math]\displaystyle1[/math]<ref name=":13" />。这表明生态系统中的能量流分布遵循稳定的幂律模式,体现系统整体的结构组织性。其拟合优度 [math]\displaystyle R_\eta^2[/math] 普遍高于 [math]\displaystyle0.9[/math]。
 
其中 [math]\displaystyle g[/math] 为异速指数 (allometric exponent)。作者在 19 个实证生态系统(包括海湾、河口、湿地等)的能量流网络中发现,这种异速关系普遍存在,指数 [math]\displaystyle g[/math] 介于 [math]\displaystyle0.83[/math] 至 [math]\displaystyle1.05[/math] 之间,大多数略高于 [math]\displaystyle1[/math]<ref name=":13" />。这表明生态系统中的能量流分布遵循稳定的幂律模式,体现系统整体的结构组织性。其拟合优度 [math]\displaystyle R_\eta^2[/math] 普遍高于 [math]\displaystyle0.9[/math]。
第1,215行: 第1,215行:  
除异速律外,研究还发现物种的能量耗散 (主要为呼吸作用) [math]\displaystyle D_i[/math] 与其通量 [math]\displaystyle A_i[/math] 之间也呈幂律关系:
 
除异速律外,研究还发现物种的能量耗散 (主要为呼吸作用) [math]\displaystyle D_i[/math] 与其通量 [math]\displaystyle A_i[/math] 之间也呈幂律关系:
   −
[math]\displaystyle D_i \propto A_i^{\gamma}.[/math] <ref name=":13" />
+
[math]\displaystyle D_i \propto A_i^{\gamma}.[/math]
    
其中 [math]\displaystyle \gamma[/math] 为耗散指数 (dissipation exponent)。对于大多数网络, [math]\displaystyle \gamma<1[/math],即能量耗散随通量的增加而次线性增长。这意味着能量通量越大的物种,其相对能量损失比例越低,能量利用效率更高。
 
其中 [math]\displaystyle \gamma[/math] 为耗散指数 (dissipation exponent)。对于大多数网络, [math]\displaystyle \gamma<1[/math],即能量耗散随通量的增加而次线性增长。这意味着能量通量越大的物种,其相对能量损失比例越低,能量利用效率更高。
第1,235行: 第1,235行:  
张江等人将网络论坛视为“虚拟生命体”,提出在线社区的增长与用户行为遵循类似生物代谢的幂律规律。以百度贴吧三万个论坛为样本,研究发现页面浏览量 [math]\displaystyle PV_t[/math] 与独立访客数 [math]\displaystyle UV_t[/math] 之间存在稳定关系:
 
张江等人将网络论坛视为“虚拟生命体”,提出在线社区的增长与用户行为遵循类似生物代谢的幂律规律。以百度贴吧三万个论坛为样本,研究发现页面浏览量 [math]\displaystyle PV_t[/math] 与独立访客数 [math]\displaystyle UV_t[/math] 之间存在稳定关系:
   −
[math]\displaystyle PV_t = a,UV_t^{,\theta}[/math] <ref name=":14">Wu, L., Zhang, J., & Zhao, M. (2014). The metabolism and growth of web forums. ''PLoS ONE'', ''9''(8). <nowiki>https://doi.org/10.1371/journal.pone.0102646</nowiki></ref>
+
[math]\displaystyle PV_t = a,UV_t^{,\theta}[/math]
   −
其中 [math]\displaystyle \theta[/math] 为异速指数(allometric exponent)。当 [math]\displaystyle \theta>1[/math] 时,论坛增长呈超线性特征,用户停留时间随规模增加而上升,表现为高“粘性”;若 [math]\displaystyle \theta<1[/math],则为次线性增长,用户活跃度下降<ref name=":14" />。实证结果显示,86% 的论坛符合此规律,平均 [math]\displaystyle \theta=1.06[/math](标准差 0.10),约 82% 的论坛为高粘性社区。作者进一步推导平均浏览长度 [math]\displaystyle L_t=\frac{PV_t}{UV_t}\propto PV_t^{,1-1/\theta}[/math],说明 [math]\displaystyle \theta[/math] 可作为长期稳定的“用户粘性指标”<ref name=":14" />。
+
其中 [math]\displaystyle \theta[/math] 为异速指数(allometric exponent)。当 [math]\displaystyle \theta>1[/math] 时,论坛增长呈超线性特征,用户停留时间随规模增加而上升,表现为高“粘性”;若 [math]\displaystyle \theta<1[/math],则为次线性增长,用户活跃度下降<ref name=":14">Wu, L., Zhang, J., & Zhao, M. (2014). The metabolism and growth of web forums. ''PLoS ONE'', ''9''(8). <nowiki>https://doi.org/10.1371/journal.pone.0102646</nowiki></ref>。实证结果显示,86% 的论坛符合此规律,平均 [math]\displaystyle \theta=1.06[/math](标准差 0.10),约 82% 的论坛为高粘性社区。作者进一步推导平均浏览长度 [math]\displaystyle L_t=\frac{PV_t}{UV_t}\propto PV_t^{,1-1/\theta}[/math],说明 [math]\displaystyle \theta[/math] 可作为长期稳定的“用户粘性指标”<ref name=":14" />。
    
此外,论坛的'''点击流耗散(the dissipation of clickstreams)'''满足另一幂律:
 
此外,论坛的'''点击流耗散(the dissipation of clickstreams)'''满足另一幂律:
   −
[math]\displaystyle D_i = b,T_i^{,\gamma}[/math] <ref name=":14" />
+
[math]\displaystyle D_i = b,T_i^{,\gamma}[/math]
    
其中 [math]\displaystyle T_i[/math] 为节点流量,[math]\displaystyle D_i[/math] 为流失量,[math]\displaystyle \gamma[/math] 为耗散指数。多数论坛 [math]\displaystyle \gamma<1[/math],表明热门帖能有效留住用户。论文指出 [math]\displaystyle \theta[/math] 与 [math]\displaystyle \gamma[/math] 之间存在负相关,并满足边界关系:
 
其中 [math]\displaystyle T_i[/math] 为节点流量,[math]\displaystyle D_i[/math] 为流失量,[math]\displaystyle \gamma[/math] 为耗散指数。多数论坛 [math]\displaystyle \gamma<1[/math],表明热门帖能有效留住用户。论文指出 [math]\displaystyle \theta[/math] 与 [math]\displaystyle \gamma[/math] 之间存在负相关,并满足边界关系:
   −
[math]\displaystyle (0<\gamma<1)\Rightarrow 1<\theta<1/\gamma;\quad (\gamma>1)\Rightarrow 1/\gamma<\theta<1.[/math] <ref name=":14" />
+
[math]\displaystyle (0<\gamma<1)\Rightarrow 1<\theta<1/\gamma;\quad (\gamma>1)\Rightarrow 1/\gamma<\theta<1.[/math]
    
当 [math]\displaystyle \gamma[/math] 较小、耗散低时,论坛更具吸引力。研究还发现,“体育”“女性”等类贴吧具有高 [math]\displaystyle \theta[/math]、低 [math]\displaystyle \gamma[/math],而“艺术”“动漫”等则相反。由此,[math]\displaystyle \theta[/math] 表征社区的长期锁定能力,[math]\displaystyle \gamma[/math] 则刻画其注意力耗散效率。
 
当 [math]\displaystyle \gamma[/math] 较小、耗散低时,论坛更具吸引力。研究还发现,“体育”“女性”等类贴吧具有高 [math]\displaystyle \theta[/math]、低 [math]\displaystyle \gamma[/math],而“艺术”“动漫”等则相反。由此,[math]\displaystyle \theta[/math] 表征社区的长期锁定能力,[math]\displaystyle \gamma[/math] 则刻画其注意力耗散效率。
    
=== 匹配生长模型 ===
 
=== 匹配生长模型 ===
−
张江等人提出了匹配生长模型(matching growth model),用于解释网络化系统(如城市、在线社区、合作网络)中普遍存在的超线性与次线性规模律。模型假设网络在 [math]\displaystyle d[/math] 维欧几里得空间内生长,每个新节点 [math]\displaystyle P[/math] 随机生成后,仅当与已有节点 [math]\displaystyle Q[/math] 的距离 [math]\displaystyle |x_P - x_Q| \le r[/math] 时才“存活”,并与其邻域内所有节点相连,从而形成局部密集、整体稀疏的空间结构。
+
张江等人提出了匹配生长模型(matching growth model)<ref name=":15">Zhang, J., Li, X., Wang, X., Wang, W.-X., & Wu, L. (2015). Scaling behaviours in the growth of networked systems and their geometric origins. ''Scientific Reports'', ''5''(1). <nowiki>https://doi.org/10.1038/srep09767</nowiki></ref>,用于解释网络化系统(如城市、在线社区、合作网络)中普遍存在的超线性与次线性规模律。模型假设网络在 [math]\displaystyle d[/math] 维欧几里得空间内生长,每个新节点 [math]\displaystyle P[/math] 随机生成后,仅当与已有节点 [math]\displaystyle Q[/math] 的距离 [math]\displaystyle |x_P - x_Q| \le r[/math] 时才“存活”,并与其邻域内所有节点相连,从而形成局部密集、整体稀疏的空间结构。
    
模型揭示了两条基本幂律关系:
 
模型揭示了两条基本幂律关系:
第1,256行: 第1,256行:  
第一个是节点数与边数的超线性关系:
 
第一个是节点数与边数的超线性关系:
   −
<nowiki>[math]\displaystyle E(t) \propto N(t)^{,\frac{d+2}{d+1}}[/math] </nowiki><ref name=":15">Zhang, J., Li, X., Wang, X., Wang, W.-X., & Wu, L. (2015). Scaling behaviours in the growth of networked systems and their geometric origins. ''Scientific Reports'', ''5''(1). <nowiki>https://doi.org/10.1038/srep09767</nowiki></ref>,说明交互或连接数随系统规模加速增长。
+
<nowiki>[math]\displaystyle E(t) \propto N(t)^{,\frac{d+2}{d+1}}[/math],说明交互或连接数随系统规模加速增长。</nowiki>
    
第二个是体积的次线性关系:
 
第二个是体积的次线性关系:
   −
<nowiki>[math]\displaystyle V(t) \propto N(t)^{,\frac{d}{d+1}}[/math] </nowiki><ref name=":15" />,表示系统在扩张中变得更致密。
+
<nowiki>[math]\displaystyle V(t) \propto N(t)^{,\frac{d}{d+1}}[/math],表示系统在扩张中变得更致密。</nowiki>
    
两者的指数完全由空间维度 [math]\displaystyle d[/math] 决定。例如在 [math]\displaystyle d=2[/math] 时,得到 [math]\displaystyle E\propto N^{4/3}[/math]、[math]\displaystyle V\propto N^{2/3}[/math],与城市、在线社区实测结果高度一致。为考虑现实中的拥挤限制,作者引入参数 [math]\displaystyle \alpha[/math],从而得到:
 
两者的指数完全由空间维度 [math]\displaystyle d[/math] 决定。例如在 [math]\displaystyle d=2[/math] 时,得到 [math]\displaystyle E\propto N^{4/3}[/math]、[math]\displaystyle V\propto N^{2/3}[/math],与城市、在线社区实测结果高度一致。为考虑现实中的拥挤限制,作者引入参数 [math]\displaystyle \alpha[/math],从而得到:
   −
<nowiki>[math]\displaystyle E(t)\propto N(t)^{,1+\frac{1}{(1+\alpha)d}},\qquad</nowiki>
+
<nowiki>[math]\displaystyle E(t)\propto N(t)^{,1+\frac{1}{(1+\alpha)d}},\qquad [/math]</nowiki>
   −
<nowiki>V(t)\propto N(t)^{,\frac{(1+\alpha)d}{1+(1+\alpha)d}}.[/math]</nowiki>
+
[math]\displaystyle <nowiki>V(t)\propto N(t)^{,\frac{(1+\alpha)d}{1+(1+\alpha)d}}.[/math]</nowiki>
    
当 [math]\displaystyle \alpha[/math] 增大时,系统增长趋于线性。研究表明,超线性与次线性规律源于同一几何约束机制:活动密度增加压缩空间体积,从而使在线社区在增长中同时表现出交互加速与多样性减缓的“几何匹配”特征。
 
当 [math]\displaystyle \alpha[/math] 增大时,系统增长趋于线性。研究表明,超线性与次线性规律源于同一几何约束机制:活动密度增加压缩空间体积,从而使在线社区在增长中同时表现出交互加速与多样性减缓的“几何匹配”特征。
    
=== 挖雷模型 ===
 
=== 挖雷模型 ===
−
Fanqi Zeng,张江等人提出挖雷模型(interactive Lévy flight model),用于解释用户在“兴趣空间”中的集体迁移及其所产生的规模律。研究认为,在线社区中的每位用户的兴趣可被视作分布在二维欧几里得空间中的点,用户在不同主题间的跳转可模拟为挖雷模型(Lévy Flight) 随机游走。其步长分布满足幂律:
+
Fanqi Zeng,张江等人提出挖雷模型(interactive Lévy flight model),用于解释用户在“兴趣空间”中的集体迁移及其所产生的规模律。研究认为,在线社区中的每位用户的兴趣可被视作分布在二维欧几里得空间中的点,用户在不同主题间的跳转可模拟为挖雷模型(Lévy Flight) 随机游走<ref name=":16">Zeng, F., Gong, L., Liu, J., Zhang, J., Chen, Q., & Xin, R. (2020). Human mobility in interest space and interactive random walk. ''Journal of Physics: Complexity'', ''1''(2), 025004. <nowiki>https://doi.org/10.1088/2632-072x/ab7f4f</nowiki></ref>。其步长分布满足幂律:
   −
[math]\displaystyle P(l)\sim l^{-\lambda}[/math] <ref name=":16">Zeng, F., Gong, L., Liu, J., Zhang, J., Chen, Q., & Xin, R. (2020). Human mobility in interest space and interactive random walk. ''Journal of Physics: Complexity'', ''1''(2), 025004. <nowiki>https://doi.org/10.1088/2632-072x/ab7f4f</nowiki></ref>
+
[math]\displaystyle P(l)\sim l^{-\lambda}[/math]
    
其中 [math]\displaystyle \lambda[/math] 描述用户兴趣广度:值越小,长距离跳转越频繁,表示兴趣更广泛。用户在活跃兴趣点之间移动,并以概率 [math]\displaystyle p[/math] 生成新的数字资源(帖子、评论等),从而通过“活跃节点”间接相互作用。
 
其中 [math]\displaystyle \lambda[/math] 描述用户兴趣广度:值越小,长距离跳转越频繁,表示兴趣更广泛。用户在活跃兴趣点之间移动,并以概率 [math]\displaystyle p[/math] 生成新的数字资源(帖子、评论等),从而通过“活跃节点”间接相互作用。
第1,279行: 第1,279行:  
模型建立了注意力流网络,节点代表兴趣主题,边的权重表示用户在不同主题间的迁移频率。系统宏观变量,活动度 [math]\displaystyle A[/math]、兴趣多样性 [math]\displaystyle D[/math] 与转移多样性 [math]\displaystyle E[/math] 均随用户数 [math]\displaystyle N[/math] 呈幂律增长:
 
模型建立了注意力流网络,节点代表兴趣主题,边的权重表示用户在不同主题间的迁移频率。系统宏观变量,活动度 [math]\displaystyle A[/math]、兴趣多样性 [math]\displaystyle D[/math] 与转移多样性 [math]\displaystyle E[/math] 均随用户数 [math]\displaystyle N[/math] 呈幂律增长:
   −
[math]\displaystyle A\propto N^{\alpha},\quad D\propto N^{\beta},\quad E\propto N^{\gamma}[/math] <ref name=":16" />
+
[math]\displaystyle A\propto N^{\alpha},\quad D\propto N^{\beta},\quad E\propto N^{\gamma}[/math]
    
其中 [math]\displaystyle \alpha>1[/math] 显示活动的超线性增长,而 [math]\displaystyle \beta<1[/math] 反映内容多样性的次线性扩展。此外,网络边数与节点数之间满足规律:
 
其中 [math]\displaystyle \alpha>1[/math] 显示活动的超线性增长,而 [math]\displaystyle \beta<1[/math] 反映内容多样性的次线性扩展。此外,网络边数与节点数之间满足规律:
   −
[math]\displaystyle E\propto D^{\theta},\quad \theta\approx1.5.[/math] <ref name=":16" />
+
[math]\displaystyle E\propto D^{\theta},\quad \theta\approx1.5.[/math]
    
模拟结果与百度贴吧、Stack Exchange 等实证数据一致,证明用户间的间接互动可自发产生与现实网络相同的幂律规模结构。参数 [math]\displaystyle \lambda[/math] 和 [math]\displaystyle p[/math] 可从观测指数中反推,分别反映用户兴趣跨度与内容生成倾向。该模型揭示了虚拟空间中人类行为的几何起源,为理解在线社区的增长、推荐机制与注意力分布提供了统一的理论框架。
 
模拟结果与百度贴吧、Stack Exchange 等实证数据一致,证明用户间的间接互动可自发产生与现实网络相同的幂律规模结构。参数 [math]\displaystyle \lambda[/math] 和 [math]\displaystyle p[/math] 可从观测指数中反推,分别反映用户兴趣跨度与内容生成倾向。该模型揭示了虚拟空间中人类行为的几何起源,为理解在线社区的增长、推荐机制与注意力分布提供了统一的理论框架。
第1,291行: 第1,291行:     
=== 致密化幂律(densification law) ===
 
=== 致密化幂律(densification law) ===
−
传统随机图模型假设网络的平均度保持常数,即边数随节点数线性增长。然而研究表明,大多数真实网络会随时间逐渐变得更加致密,节点之间的连接数以超线性方式增长。具体而言,网络的边数 [math]\displaystyle e(t)[/math] 与节点数 [math]\displaystyle n(t)[/math] 之间满足幂律关系:
+
传统随机图模型假设网络的平均度保持常数,即边数随节点数线性增长。然而研究表明,大多数真实网络会随时间逐渐变得更加致密,节点之间的连接数以超线性方式增长<ref name=":17" />。具体而言,网络的边数 [math]\displaystyle e(t)[/math] 与节点数 [math]\displaystyle n(t)[/math] 之间满足幂律关系:
   −
[math]\displaystyle e(t) \propto n(t)^{a}, \quad 1<a<2.[/math] <ref name=":17" />
+
[math]\displaystyle e(t) \propto n(t)^{a}, \quad 1<a<2.[/math]
    
其中 [math]\displaystyle a[/math] 称为致密化指数(densification exponent)。当 [math]\displaystyle a=1[/math] 时,平均度保持不变;当 [math]\displaystyle a=2[/math] 时,网络接近完全图。大量实证结果显示 [math]\displaystyle a[/math] 稳定地处于 1 与 2 之间,表明平均度随时间单调上升。在 Leskovec 等人的研究中,涵盖了多种异质系统,包括论文引用网络(arXiv HEP–TH, HEP–PH)、美国专利引用网络(Patents)、互联网自治系统(AS)、作者–论文隶属网络(Affiliation Graphs)及电子邮件通信网络等。
 
其中 [math]\displaystyle a[/math] 称为致密化指数(densification exponent)。当 [math]\displaystyle a=1[/math] 时,平均度保持不变;当 [math]\displaystyle a=2[/math] 时,网络接近完全图。大量实证结果显示 [math]\displaystyle a[/math] 稳定地处于 1 与 2 之间,表明平均度随时间单调上升。在 Leskovec 等人的研究中,涵盖了多种异质系统,包括论文引用网络(arXiv HEP–TH, HEP–PH)、美国专利引用网络(Patents)、互联网自治系统(AS)、作者–论文隶属网络(Affiliation Graphs)及电子邮件通信网络等。
第1,299行: 第1,299行:     
=== 收缩直径定律(Shrinking Diameter Law) ===
 
=== 收缩直径定律(Shrinking Diameter Law) ===
−
<nowiki>另一项发现是,网络的有效直径(effective diameter)并非随着规模扩张而增长,而是随时间减小。有效直径定义为网络中 90% 可达节点对之间的最短路径长度 [math]\displaystyle D_{\text{eff}}[/math]:</nowiki>
+
另一项发现是,网络的有效直径(effective diameter)并非随着规模扩张而增长,而是随时间减小<ref name=":17" /><nowiki>。有效直径定义为网络中 90% 可达节点对之间的最短路径长度 [math]\displaystyle D_{\text{eff}}[/math]:</nowiki>
   −
<nowiki>[math]\displaystyle D_{\text{eff}} = \min{d : g(d) \ge 0.9},[/math] </nowiki><ref name=":18" />
+
<nowiki>[math]\displaystyle D_{\text{eff}} = \min{d</nowiki> : g(d) \ge 0.9},[/math]
    
其中 [math]\displaystyle g(d)[/math] 表示距离不超过 [math]\displaystyle d[/math] 的节点对比例。
 
其中 [math]\displaystyle g(d)[/math] 表示距离不超过 [math]\displaystyle d[/math] 的节点对比例。
第1,313行: 第1,313行:  
(一)社区引导附着模型(Community Guided Attachment, CGA)
 
(一)社区引导附着模型(Community Guided Attachment, CGA)
   −
假设网络节点嵌套于层级化的社区结构中,跨社区形成连接的概率随层级深度 [math]\displaystyle d[/math] 指数性衰减。若跨层连接概率为 [math]\displaystyle p(l) \propto c^{-l}[/math],则可推出网络的边数与节点数满足:
+
假设网络节点嵌套于层级化的社区结构中,跨社区形成连接的概率随层级深度 [math]\displaystyle d[/math] 指数性衰减。若跨层连接概率为 [math]\displaystyle p(l) \propto c^{-l}[/math],则可推出网络的边数与节点数满足<ref name=":18" />:
   −
[math]\displaystyle e(t) \propto n(t)^{a}, \quad a = 1+\frac{1}{(1+\alpha)d},[/math] <ref name=":18" />
+
[math]\displaystyle e(t) \propto n(t)^{a}, \quad a = 1+\frac{1}{(1+\alpha)d},[/math]
    
其中 [math]\displaystyle \alpha[/math] 为社区紧密度参数。当 [math]\displaystyle \alpha[/math] 较小时,跨社区连接容易形成,系统趋向超线性致密化;当 [math]\displaystyle \alpha[/math] 较大时,网络增长趋近线性。
 
其中 [math]\displaystyle \alpha[/math] 为社区紧密度参数。当 [math]\displaystyle \alpha[/math] 较小时,跨社区连接容易形成,系统趋向超线性致密化;当 [math]\displaystyle \alpha[/math] 较大时,网络增长趋近线性。
第1,323行: 第1,323行:  
为同时解释致密化与收缩直径,Leskovec 等人提出了森林火灾模型。新节点以概率 [math]\displaystyle p_f[/math](前向燃烧)与 [math]\displaystyle p_b[/math](反向燃烧)递归连接到已有节点及其邻居:新节点选择一个“点火节点”;按概率 [math]\displaystyle p_f[/math] 连接其出邻居,按 [math]\displaystyle p_b[/math] 连接其入邻居;对新连接的节点重复此过程,直到燃烧终止。
 
为同时解释致密化与收缩直径,Leskovec 等人提出了森林火灾模型。新节点以概率 [math]\displaystyle p_f[/math](前向燃烧)与 [math]\displaystyle p_b[/math](反向燃烧)递归连接到已有节点及其邻居:新节点选择一个“点火节点”;按概率 [math]\displaystyle p_f[/math] 连接其出邻居,按 [math]\displaystyle p_b[/math] 连接其入邻居;对新连接的节点重复此过程,直到燃烧终止。
   −
模型模拟表明,在特定参数区域,网络自发满足:
+
模型模拟表明,在特定参数区域,网络自发满足<ref name=":18" />:
   −
<nowiki>[math]\displaystyle e(t)\propto n(t)^{a}, \quad 1<a<2, \qquad D_{\text{eff}}(t)\downarrow, [/math] </nowiki><ref name=":18" />
+
<nowiki>[math]\displaystyle e(t)\propto n(t)^{a}, \quad 1<a<2, \qquad D_{\text{eff}}(t)\downarrow, [/math]</nowiki>
    
即同时实现超线性致密化与直径收缩。这一过程存在相变:当 [math]\displaystyle p_f[/math] 太小,网络稀疏;过大则迅速饱和;仅在临界区域产生现实网络的拓扑特征。
 
即同时实现超线性致密化与直径收缩。这一过程存在相变:当 [math]\displaystyle p_f[/math] 太小,网络稀疏;过大则迅速饱和;仅在临界区域产生现实网络的拓扑特征。
第1,334行: 第1,334行:  
'''幂律关系与无尺度性'''
 
'''幂律关系与无尺度性'''
   −
在临界态下,系统的统计量(如雪崩大小、寿命、能量释放等)往往遵循幂律形式的分布。这类关系是临界现象的核心标志,表明系统缺乏特征尺度:
+
在临界态下,系统的统计量(如雪崩大小、寿命、能量释放等)往往遵循幂律形式的分布。这类关系是临界现象的核心标志,表明系统缺乏特征尺度<ref name=":19" />:
   −
[math]\displaystyle P(s) \sim s^{-\tau},[/math] <ref name=":19" />
+
[math]\displaystyle P(s) \sim s^{-\tau},[/math]
   −
[math]\displaystyle P(T) \sim T^{-\alpha},[/math] <ref name=":19" />
+
[math]\displaystyle P(T) \sim T^{-\alpha},[/math]
   −
[math]\displaystyle \langle s(T) \rangle \sim T^{\gamma}. [/math] <ref name=":19" />
+
[math]\displaystyle \langle s(T) \rangle \sim T^{\gamma}. [/math]
    
其中, [math]\displaystyle P(s)[/math] 为雪崩规模分布, [math]\displaystyle P(T)[/math] 为持续时间分布, [math]\displaystyle \tau,\alpha,\gamma[/math] 分别为临界指数(critical exponents)。这些指数控制了事件大小与持续时间之间的关系,体现系统在宏观层面的统计规律。
 
其中, [math]\displaystyle P(s)[/math] 为雪崩规模分布, [math]\displaystyle P(T)[/math] 为持续时间分布, [math]\displaystyle \tau,\alpha,\gamma[/math] 分别为临界指数(critical exponents)。这些指数控制了事件大小与持续时间之间的关系,体现系统在宏观层面的统计规律。
第1,346行: 第1,346行:  
在有限系统中,分布函数还满足统一的标度形式(finite-size scaling):
 
在有限系统中,分布函数还满足统一的标度形式(finite-size scaling):
   −
<nowiki>[math]\displaystyle P(s,L) = s^{-\tau} f!\left(\frac{s}{L^{D}}\right) [/math] </nowiki><ref name=":19" />
+
<nowiki>[math]\displaystyle P(s,L) = s^{-\tau} f!\left(\frac{s}{L^{D}}\right) [/math]</nowiki>
    
其中 [math]\displaystyle L[/math] 为系统尺度, [math]\displaystyle D[/math] 为特征维度(fractal dimension), [math]\displaystyle f(x)[/math] 为无量纲标度函数。这表明,不同规模系统的分布在适当归一化后可以重叠到同一条标度曲线上,体现出临界系统的'''无尺度性(scale-free structure)'''。
 
其中 [math]\displaystyle L[/math] 为系统尺度, [math]\displaystyle D[/math] 为特征维度(fractal dimension), [math]\displaystyle f(x)[/math] 为无量纲标度函数。这表明,不同规模系统的分布在适当归一化后可以重叠到同一条标度曲线上,体现出临界系统的'''无尺度性(scale-free structure)'''。
第1,354行: 第1,354行:  
在临界现象的研究中,最具代表性的自组织模型是 Bak、Tang 与 Wiesenfeld (BTW) 于 1987 年提出的沙堆模型(sandpile model)。该模型展示了复杂系统如何在没有外部调节的情况下自发演化至临界状态。
 
在临界现象的研究中,最具代表性的自组织模型是 Bak、Tang 与 Wiesenfeld (BTW) 于 1987 年提出的沙堆模型(sandpile model)。该模型展示了复杂系统如何在没有外部调节的情况下自发演化至临界状态。
   −
模型假设在一个二维格点上不断堆积沙粒,当局部斜率超过某个阈值时,局部区域的沙粒会向周围扩散,形成所谓的“雪崩”(avalanche)事件。每次雪崩都会重新分配系统的能量,使系统从微观扰动中逐步趋向宏观平衡。经过充分演化后,系统自发达到一个临界稳态,在该状态下,所有统计量都呈现出幂律分布的标度特征。
+
模型假设在一个二维格点上不断堆积沙粒,当局部斜率超过某个阈值时,局部区域的沙粒会向周围扩散,形成所谓的“雪崩”(avalanche)事件。每次雪崩都会重新分配系统的能量,使系统从微观扰动中逐步趋向宏观平衡。经过充分演化后,系统自发达到一个临界稳态,在该状态下,所有统计量都呈现出幂律分布的标度特征<ref name=":19" />。
    
在该临界稳态下,雪崩的大小 [math]\displaystyle s[/math] 与其持续时间 [math]\displaystyle T[/math] 之间遵循幂律关系:
 
在该临界稳态下,雪崩的大小 [math]\displaystyle s[/math] 与其持续时间 [math]\displaystyle T[/math] 之间遵循幂律关系:
   −
[math]\displaystyle T \propto s^{,\beta}, \qquad P(s) \propto s^{-\tau}, \qquad P(T) \propto T^{-\alpha}. [/math] <ref name=":19" />
+
[math]\displaystyle T \propto s^{,\beta}, \qquad P(s) \propto s^{-\tau}, \qquad P(T) \propto T^{-\alpha}. [/math]
    
其中 [math]\displaystyle \alpha, \beta, \tau[/math] 为临界指数(critical exponents),决定了系统在不同尺度上的统计规律。进一步的数值模拟与实验表明,这些指数的具体数值因模型维度与局部动力学而异,但其幂律形式具有普适性(universality)。这意味着,无论系统的微观细节如何,只要具备能量累积与阈值释放的机制,都会自然演化到一个幂律主导的临界态。
 
其中 [math]\displaystyle \alpha, \beta, \tau[/math] 为临界指数(critical exponents),决定了系统在不同尺度上的统计规律。进一步的数值模拟与实验表明,这些指数的具体数值因模型维度与局部动力学而异,但其幂律形式具有普适性(universality)。这意味着,无论系统的微观细节如何,只要具备能量累积与阈值释放的机制,都会自然演化到一个幂律主导的临界态。
第1,364行: 第1,364行:  
在有限系统中,雪崩规模的分布还满足有限尺度标度形式:
 
在有限系统中,雪崩规模的分布还满足有限尺度标度形式:
   −
<nowiki>[math]\displaystyle P(s,L) = s^{-\tau} f!\left(\frac{s}{L^{D}}\right), [/math] </nowiki><ref name=":19" />
+
<nowiki>[math]\displaystyle P(s,L) = s^{-\tau} f!\left(\frac{s}{L^{D}}\right), [/math]</nowiki>
    
其中 [math]\displaystyle L[/math] 为系统线性尺度, [math]\displaystyle D[/math] 为雪崩的特征维度(fractal dimension)。这一标度律表明,不同规模系统的统计行为可以通过合适的归一化函数 [math]\displaystyle f(x)[/math] 统一到同一曲线之上,揭示了临界系统的自相似与无尺度性。
 
其中 [math]\displaystyle L[/math] 为系统线性尺度, [math]\displaystyle D[/math] 为雪崩的特征维度(fractal dimension)。这一标度律表明,不同规模系统的统计行为可以通过合适的归一化函数 [math]\displaystyle f(x)[/math] 统一到同一曲线之上,揭示了临界系统的自相似与无尺度性。
第1,386行: 第1,386行:  
公式:
 
公式:
   −
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math] </nowiki><ref name=":12" />
+
<nowiki>[math]\displaystyle N_{\text{opt}}(C)\propto C^{0.5},\qquad D_{\text{opt}}(C)\propto C^{0.5}[/math]</nowiki>
   −
[math]\displaystyle N\propto C^{0.73},\qquad D\propto C^{0.27}[/math] <ref name=":12" />
+
[math]\displaystyle N\propto C^{0.73},\qquad D\propto C^{0.27}[/math]
    
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长,即保持约 1:1 的平衡,而 Kaplan 早期公式则倾向于更大模型和较少数据,但这一策略被证明会造成训练不足。总体而言,这些关系说明在算力受限时,只有模型规模与数据规模同步扩展,才能使模型达到最优性能;单独增大其中一项都会进入收益递减区间。
 
这些公式揭示了在固定算力 [math]C[/math] 下模型规模 [math]N[/math] 与训练数据量 [math]D[/math] 的最优配置关系。Chinchilla 法则指出模型参数和训练语料应随算力的平方根同比增长,即保持约 1:1 的平衡,而 Kaplan 早期公式则倾向于更大模型和较少数据,但这一策略被证明会造成训练不足。总体而言,这些关系说明在算力受限时,只有模型规模与数据规模同步扩展,才能使模型达到最优性能;单独增大其中一项都会进入收益递减区间。
第1,394行: 第1,394行:  
'''2. 推理阶段的规律'''
 
'''2. 推理阶段的规律'''
   −
训练完成后,增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升;AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时,解题成功率也持续提高。规律表明:在应用阶段扩充推理计算,可以部分替代模型规模的不足,但收益逐渐递减。<ref name=":12" />
+
训练完成后,增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升;AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时,解题成功率也持续提高。规律表明:在应用阶段扩充推理计算,可以部分替代模型规模的不足,但收益逐渐递减<ref name=":12" />。
    
'''3. 分段幂律与断裂点'''
 
'''3. 分段幂律与断裂点'''
第1,400行: 第1,400行:  
Caballero 等提出“断裂式规模法则”(Broken Neural Scaling Laws),发现性能曲线并非始终遵循单一幂律,而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中,说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。
 
Caballero 等提出“断裂式规模法则”(Broken Neural Scaling Laws),发现性能曲线并非始终遵循单一幂律,而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中,说明模型扩展的收益可能阶段性放缓或重新加速 <ref name=":12" />。
   −
[math]\displaystyle y = a + (b,x^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math] <ref name=":12" />
+
[math]\displaystyle y = a + (b,x^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i}[/math]
    
在这个公式中,[math]x[/math] 代表规模因子(如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]),[math]y[/math] 是性能指标(如误差或奖励),而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时,模型的性能提升速率(幂律指数)会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线,而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导,从而出现“快速提升—停滞—再加速”的周期性特征。
 
在这个公式中,[math]x[/math] 代表规模因子(如模型参数 [math]N[/math]、数据量 [math]D[/math] 或计算量 [math]C[/math]),[math]y[/math] 是性能指标(如误差或奖励),而 [math]d_i[/math] 表示性能变化的“断点”。当 [math]x[/math] 逐渐增大并接近某个 [math]d_i[/math] 时,模型的性能提升速率(幂律指数)会平滑地发生改变。这意味着性能随规模扩展的曲线并不是单一斜率的直线,而是由多个幂律阶段平滑连接而成。它反映出模型训练的不同阶段可能受到不同机制或瓶颈的主导,从而出现“快速提升—停滞—再加速”的周期性特征。
第1,408行: 第1,408行:  
在下游任务上,预训练模型显著改善小数据场景的表现,相当于“放大”了微调数据集。研究表明,性能随参数规模和微调数据量呈幂律关系,并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。
 
在下游任务上,预训练模型显著改善小数据场景的表现,相当于“放大”了微调数据集。研究表明,性能随参数规模和微调数据量呈幂律关系,并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。
   −
<nowiki>[math]\displaystyle D_{\text{effective}} \approx K, N^{\alpha}, D_{\text{finetune}}^{\beta}[/math] </nowiki><ref name=":12" />
+
<nowiki>[math]\displaystyle D_{\text{effective}} \approx K, N^{\alpha}, D_{\text{finetune}}^{\beta}[/math]</nowiki>
    
<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math],表示如果没有预训练,要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大,其微调时的增益越明显,即 [math]\alpha[/math] 越大时,模型泛化能力越强;而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看,这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据,尤其在低资源场景中,预训练带来的收益最为显著。</nowiki>
 
<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math],表示如果没有预训练,要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大,其微调时的增益越明显,即 [math]\alpha[/math] 越大时,模型泛化能力越强;而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看,这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据,尤其在低资源场景中,预训练带来的收益最为显著。</nowiki>
第1,414行: 第1,414行:  
'''5. 知识记忆与容量限制'''
 
'''5. 知识记忆与容量限制'''
   −
LLM 的事实记忆能力基本随参数线性扩展,但存在上限。研究估计,每个参数平均只能存储约 3.6 比特的信息,意味着仅靠增大数据规模无法无限增加模型记忆,最终会趋于饱和。因此,检索增强等外部机制被认为是突破参数记忆瓶颈的关键。
+
LLM 的事实记忆能力基本随参数线性扩展,但存在上限。研究估计,每个参数平均只能存储约 3.6 比特的信息,意味着仅靠增大数据规模无法无限增加模型记忆,最终会趋于饱和。因此,检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。
   −
[math]\displaystyle I_{\max}\approx 3.6,N\ \text{bits}[/math] <ref name=":12" />
+
[math]\displaystyle I_{\max}\approx 3.6,N\ \text{bits}[/math]
    
该公式表明模型的总记忆量与参数数量呈线性关系,且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时,模型会自动转向泛化学习而非记忆具体事实。因此,继续增加数据并不会提升总记忆,只会降低单个样本被精确记住的概率。换言之,模型的记忆空间是有限资源,扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
 
该公式表明模型的总记忆量与参数数量呈线性关系,且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时,模型会自动转向泛化学习而非记忆具体事实。因此,继续增加数据并不会提升总记忆,只会降低单个样本被精确记住的概率。换言之,模型的记忆空间是有限资源,扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
第1,422行: 第1,422行:  
'''6. 参数效率的提升'''
 
'''6. 参数效率的提升'''
   −
除了单纯“做大”,模型单位参数的有效性也在快速提高。所谓 Densing Law 指出,模型的“容量密度”大约每 3 个月翻一倍,显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平,类似“摩尔定律”的趋势。<ref name=":12" />
+
除了单纯“做大”,模型单位参数的有效性也在快速提高。所谓 Densing Law 指出,模型的“容量密度”大约每 3 个月翻一倍,显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平,类似“摩尔定律”的趋势 <ref name=":12" />。
    
'''7. 其他扩展方向'''
 
'''7. 其他扩展方向'''
   −
低精度训练可视为减少“有效参数”,其性能损失遵循指数规律:
+
低精度训练可视为减少“有效参数”,其性能损失遵循指数规律<ref name=":12" />:
   −
<nowiki>[math]\displaystyle N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr)[/math] </nowiki><ref name=":12" />
+
<nowiki>[math]\displaystyle N_{\text{eff}}(P)=N\bigl(1-e^{-P/\gamma}\bigr)[/math]</nowiki>
    
<nowiki>其中 [math]P[/math] 是数值精度的位宽,随着精度提升,有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]。这说明低精度训练会以非线性方式损失模型容量,例如使用 FP16 精度时仅约 90% 的参数在发挥作用,而更低精度会进一步削弱性能。</nowiki>
 
<nowiki>其中 [math]P[/math] 是数值精度的位宽,随着精度提升,有效参数量 [math]N_{\text{eff}}[/math] 按指数方式逼近真实参数数 [math]N[/math]。这说明低精度训练会以非线性方式损失模型容量,例如使用 FP16 精度时仅约 90% 的参数在发挥作用,而更低精度会进一步削弱性能。</nowiki>
   −
此外,多模态任务(如同时处理文本与图像的模型)也遵循类似的幂律关系。以视觉模型为例,其最低错误率与计算量的关系可以近似表示为:
+
此外,多模态任务(如同时处理文本与图像的模型)也遵循类似的幂律关系。以视觉模型为例,其最低错误率与计算量的关系可以近似表示为<ref name=":12" />:
   −
<nowiki>[math]\displaystyle L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}}[/math] </nowiki><ref name=":12" />
+
<nowiki>[math]\displaystyle L_{\min}(C)=0.09+\frac{0.26}{(C+0.01)^{0.35}}[/math]</nowiki>
    
这表明随着计算量 [math]C[/math] 的增加,模型的误差率持续下降但趋于饱和,体现了典型的“收益递减”规律,也进一步印证了规模法则的普适性。
 
这表明随着计算量 [math]C[/math] 的增加,模型的误差率持续下降但趋于饱和,体现了典型的“收益递减”规律,也进一步印证了规模法则的普适性。

导航菜单