更改

删除3,654字节 、 2025年9月13日 (六) 14:12
无编辑摘要
第9行: 第9行:     
==== 面积与体积的变化关系 ====
 
==== 面积与体积的变化关系 ====
−
假设一个立方体边长为 <nowiki><math>L</math></nowiki>:面积 <nowiki><math>A \propto L^2</math></nowiki>,体积 <nowiki><math>V \propto L^3</math></nowiki>,因此,当边长增大一倍时:面积只增加 <nowiki><math>2^2 = 4</math></nowiki> 倍,体积却增加 <nowiki><math>2^3 = 8</math></nowiki> 倍
+
假设一个立方体边长为 [math]L[/math]:面积 [math]A \propto L^2[/math],体积 [math]V \propto L^3[/math],因此,当边长增大一倍时:面积只增加 [math]2^2 = 4[/math] 倍,体积却增加 [math]2^3 = 8[/math] 倍
    
==== 强度与重量的矛盾 ====
 
==== 强度与重量的矛盾 ====
−
支撑物体的强度 <nowiki><math>S \propto A \propto L^2</math></nowiki>,物体重量 <nowiki><math>W \propto V \propto L^3</math></nowiki>。由此得出比例:<nowiki><math>\displaystyle \frac{S}{W} \propto \frac{L^2}{L^3} = \frac{1}{L}</math></nowiki>
+
支撑物体的强度 [math]S \propto A \propto L^2[/math],物体重量 [math]W \propto V \propto L^3[/math]。由此得出比例:[math]\displaystyle \frac{S}{W} \propto \frac{L^2}{L^3} = \frac{1}{L}[/math]
    
=== 非线性幂律关系 ===
 
=== 非线性幂律关系 ===
第18行: 第18行:     
==== 幂律的一般形式 ====
 
==== 幂律的一般形式 ====
−
<nowiki><math>\displaystyle y = k x^\alpha</math></nowiki>。其中:<nowiki><math>\alpha</math></nowiki> 为指数,决定了非线性关系,若 <nowiki><math>\alpha = 1</math></nowiki>,是线性关系;若 <nowiki><math>\alpha \neq 1</math></nowiki>,则为幂律关系。
+
[math]\displaystyle y = k x^\alpha[/math]。其中:[math]\alpha[/math] 为指数,决定了非线性关系,若 [math]\alpha = 1[/math],是线性关系;若 [math]\alpha \neq 1[/math],则为幂律关系。
    
=== 数量级,对数 ===
 
=== 数量级,对数 ===
    
==== 数量级与对数表示 ====
 
==== 数量级与对数表示 ====
−
在规模分析的框架下,数量级和对数刻度是两个极为重要的概念。数量级(order of magnitude)指的是一个数值以 10 为底的幂次表示方式,用于描述跨越巨大尺度的变化。例如,<nowiki><math>\displaystyle 10^1, 10^2, 10^3, \dots</math></nowiki>分别代表十、百、千这样成倍扩展的规模。对数刻度则能将这种指数关系转化为线性关系:<nowiki><math>\displaystyle \log y = \alpha \log x + \log k</math></nowiki>
+
在规模分析的框架下,数量级和对数刻度是两个极为重要的概念。数量级(order of magnitude)指的是一个数值以 10 为底的幂次表示方式,用于描述跨越巨大尺度的变化。例如,[math]\displaystyle 10^1, 10^2, 10^3, \dots[/math]分别代表十、百、千这样成倍扩展的规模。对数刻度则能将这种指数关系转化为线性关系:[math]\displaystyle \log y = \alpha \log x + \log k[/math]
    
==== 应用实例: ====
 
==== 应用实例: ====
−
地震的里氏震级:地震波幅度每增加 1 个数量级,释放能量增加约 <nowiki><math>10^{1.5} \approx 31.6</math></nowiki> 倍。
+
地震的里氏震级:地震波幅度每增加 1 个数量级,释放能量增加约 [math]10^{1.5} \approx 31.6[/math] 倍。
    
药物剂量:动物与人体之间剂量并非线性缩放,而是依赖代谢率等幂律规律。大象LSD实验的失败就是线性思维的错误案例。
 
药物剂量:动物与人体之间剂量并非线性缩放,而是依赖代谢率等幂律规律。大象LSD实验的失败就是线性思维的错误案例。
   −
大东方号:船舶载重量 <nowiki><math>\propto L^3</math></nowiki>,而阻力 <nowiki><math>\propto L^2</math></nowiki>,所以越大的船运输效率越高,这体现了规模经济。
+
大东方号:船舶载重量 [math]\propto L^3[/math],而阻力 [math]\propto L^2[/math],所以越大的船运输效率越高,这体现了规模经济。
    
=== 无量纲尺度和尺度不变量 ===
 
=== 无量纲尺度和尺度不变量 ===
第36行: 第36行:     
==== 无量纲数的例子 ====
 
==== 无量纲数的例子 ====
−
圆周率 <nowiki><math>\pi = C/D</math></nowiki>(圆周与直径之比),与大小无关
+
圆周率 [math]\pi = C/D[/math](圆周与直径之比),与大小无关
   −
弗劳德数:<nowiki><math>\displaystyle Fr = \frac{v}{\sqrt{gL}}</math></nowiki>它表征了惯性力与重力的比值,决定了船只或波浪的相似性
+
<nowiki>弗劳德数:[math]\displaystyle Fr = \frac{v}{\sqrt{gL}}[/math]它表征了惯性力与重力的比值,决定了船只或波浪的相似性</nowiki>
    
==== 尺度不变性 ====
 
==== 尺度不变性 ====
−
所有物理定律必须表述为无量纲数的关系:<nowiki><math>\displaystyle f(\Pi_1, \Pi_2, \dots, \Pi_n) = 0</math></nowiki>
+
所有物理定律必须表述为无量纲数的关系:[math]\displaystyle f(\Pi_1, \Pi_2, \dots, \Pi_n) = 0[/math]
    
==== 应用案例 ====
 
==== 应用案例 ====
−
瑞利散射:散射强度 <nowiki><math>I \propto \frac{1}{\lambda^4}</math></nowiki>,解释了天空为何是蓝色
+
瑞利散射:散射强度 [math]I \propto \frac{1}{\lambda^4}[/math],解释了天空为何是蓝色
    
=== 规模分析 ===
 
=== 规模分析 ===
第51行: 第51行:  
十八世纪,医生勒萨运用类似的方法解释了为什么昆虫和小型动物会长有厚实坚硬的外壳。他认为,动物的水分和养料消耗速度取决于表面积与体重的比值。由于体重的增长速度快于表面积,当动物变小时,其表面积相对更大,水分更容易散失,于是它们必须通过进化出厚皮来适应环境。这一推理正是规模分析在生物学中的早期应用。
 
十八世纪,医生勒萨运用类似的方法解释了为什么昆虫和小型动物会长有厚实坚硬的外壳。他认为,动物的水分和养料消耗速度取决于表面积与体重的比值。由于体重的增长速度快于表面积,当动物变小时,其表面积相对更大,水分更容易散失,于是它们必须通过进化出厚皮来适应环境。这一推理正是规模分析在生物学中的早期应用。
   −
十九世纪,数学家傅里叶进一步提出了'''量纲分析'''的思想。他指出,物理定律的形式不应因度量单位的不同而改变。无论用米还是厘米、用千克还是克来表示质量,牛顿第二定律 <nowiki><math>F=ma</math></nowiki> 都应保持相同形式。换句话说,物理公式在量纲变化下保持不变,本质上就是要求它们在规模缩放下保持不变。
+
十九世纪,数学家傅里叶进一步提出了'''量纲分析'''的思想。他指出,物理定律的形式不应因度量单位的不同而改变。无论用米还是厘米、用千克还是克来表示质量,牛顿第二定律 [math]F=ma[/math] 都应保持相同形式。换句话说,物理公式在量纲变化下保持不变,本质上就是要求它们在规模缩放下保持不变。
   −
进入二十世纪,生物学家达西·汤普森在《生长与形态》中大量运用规模分析方法,总结了生物几何形态随尺度变化的规律。而化学家克莱伯在研究哺乳动物代谢率与体重的关系时发现,其幂律指数并不是传统分析预测的 <nowiki><math>2/3</math></nowiki>,而是 <nowiki><math>3/4</math></nowiki>,这就是著名的'''克莱伯定律'''。这一发现首次将规模法则拓展到复杂的生命系统,揭示了代谢背后的分形网络特征。此后,“异速律”一词被提出,人们逐渐形成了对生物体规模法则的系统认识。
+
进入二十世纪,生物学家达西·汤普森在《生长与形态》中大量运用规模分析方法,总结了生物几何形态随尺度变化的规律。而化学家克莱伯在研究哺乳动物代谢率与体重的关系时发现,其幂律指数并不是传统分析预测的 [math]2/3[/math],而是 [math]3/4[/math],这就是著名的'''克莱伯定律'''。这一发现首次将规模法则拓展到复杂的生命系统,揭示了代谢背后的分形网络特征。此后,“异速律”一词被提出,人们逐渐形成了对生物体规模法则的系统认识。
    
二十世纪后期,曼德尔布罗的发展使分形几何广为人知。分形结构在不同尺度下保持相似性,其周长、面积等几何量常常服从幂律。这一思想与规模分析紧密相关。与此同时,幂律分布在自然与社会中被广泛发现:从财富分配、城市规模,到互联网点击量、地震震级,都呈现“少数极大、多数极小”的厚尾特征。
 
二十世纪后期,曼德尔布罗的发展使分形几何广为人知。分形结构在不同尺度下保持相似性,其周长、面积等几何量常常服从幂律。这一思想与规模分析紧密相关。与此同时,幂律分布在自然与社会中被广泛发现:从财富分配、城市规模,到互联网点击量、地震震级,都呈现“少数极大、多数极小”的厚尾特征。
第68行: 第68行:     
==== 鲁布纳猜想 ====
 
==== 鲁布纳猜想 ====
−
鲁布纳猜想是生物规模效应研究的起点。19世纪末,德国生理学家马克斯·鲁布纳(Max Rubner)基于热量交换的考量,猜想动物代谢率与其体表面积成正比。根据几何相似原理,体表面积通常与体积的 2/3 次方成正比,而体积又近似与质量成正比。因此,鲁布纳预言代谢率 <nowiki><math>F</math></nowiki> 和体重 <nowiki><math>M</math></nowiki> 满足如下关系:
+
鲁布纳猜想是生物规模效应研究的起点。19世纪末,德国生理学家马克斯·鲁布纳(Max Rubner)基于热量交换的考量,猜想动物代谢率与其体表面积成正比。根据几何相似原理,体表面积通常与体积的 2/3 次方成正比,而体积又近似与质量成正比。因此,鲁布纳预言代谢率 [math]F[/math] 和体重 [math]M[/math] 满足如下关系:
    
{{NumBlk|:|
 
{{NumBlk|:|
第79行: 第79行:  
''<small>哺乳动物的每一平方米皮肤产生相同的热量,这是'''表面积定律'''的假设。因此,相对代谢率的下降速度与表面积相对于身体体积的下降速度相同。</small>''<ref>Whitfield, J. (2006). ''In the beat of a heart: life, energy, and the unity of nature''. Washington, D.C. : Joseph Henry Press.</ref>
 
''<small>哺乳动物的每一平方米皮肤产生相同的热量,这是'''表面积定律'''的假设。因此,相对代谢率的下降速度与表面积相对于身体体积的下降速度相同。</small>''<ref>Whitfield, J. (2006). ''In the beat of a heart: life, energy, and the unity of nature''. Washington, D.C. : Joseph Henry Press.</ref>
   −
这意味着如果某动物的体重增加一倍,其代谢总需求将增加约 <nowiki><math>22/3 \approx 1.59  </math></nowiki> 倍,而非成比例翻倍。鲁布纳通过对狗等少数动物的实验测量初步验证了这一关系,并于1902年正式提出,一度成为生理学教条。然而,后来研究指出其样本量小、实验条件不严谨等局限性。
+
这意味着如果某动物的体重增加一倍,其代谢总需求将增加约 [math]22/3 \approx 1.59  [/math] 倍,而非成比例翻倍。鲁布纳通过对狗等少数动物的实验测量初步验证了这一关系,并于1902年正式提出,一度成为生理学教条。然而,后来研究指出其样本量小、实验条件不严谨等局限性。
    
==== 克莱伯定律(Kleiber's Law) ====
 
==== 克莱伯定律(Kleiber's Law) ====
第87行: 第87行:  
克莱伯定律的核心是 3/4 幂律,它实质上是对鲁布纳 2/3 幂律的修正和拓展。在更广泛的物种范围和更精确的数据支持下,克莱伯确定了生物静息代谢率 B 与体重 M 之间的关系:
 
克莱伯定律的核心是 3/4 幂律,它实质上是对鲁布纳 2/3 幂律的修正和拓展。在更广泛的物种范围和更精确的数据支持下,克莱伯确定了生物静息代谢率 B 与体重 M 之间的关系:
   −
<nowiki><math>B \propto M^{3/4}  </math></nowiki>
+
[math]B \propto M^{3/4}  [/math]
 +
 
 +
这一定律表明,生物体规模每扩大一倍,代谢总量仅增加约 [math]23/4 \approx 1.68  [/math] 倍。与之相对应,单位质量的代谢速率随着生物体增大而降低。例如,大象每公斤组织消耗的能量远低于老鼠每公斤组织的能量消耗。这解释了为什么大型动物会比小型动物更“节能”。
   −
这一定律表明,生物体规模每扩大一倍,代谢总量仅增加约 <nowiki><math>23/4 \approx 1.68  </math></nowiki> 倍。与之相对应,单位质量的代谢速率随着生物体增大而降低。例如,大象每公斤组织消耗的能量远低于老鼠每公斤组织的能量消耗。这解释了为什么大型动物会比小型动物更“节能”。
        第97行: 第98行:     
=== 城市 ===
 
=== 城市 ===
−
在城市科学和城市规划中,同样存在引人注目的规模法则现象。与生物不同的是,城市中的许多社会经济指标随规模呈现"超线性"增长,即幂指数 <nowiki><math>\beta > 1</math></nowiki>。这意味着大城市不仅绝对产出更多财富和创新成果,而且相对而言更高效。
+
在城市科学和城市规划中,同样存在引人注目的规模法则现象。与生物不同的是,城市中的许多社会经济指标随规模呈现"超线性"增长,即幂指数 [math]\beta > 1[/math]。这意味着大城市不仅绝对产出更多财富和创新成果,而且相对而言更高效。
    
==== GDP、创新、科技的超线性幂律 ====
 
==== GDP、创新、科技的超线性幂律 ====
 
研究表明,城市的经济产出(如 GDP)和创新活动(如专利申请数)与城市人口 N 之间存在超线性幂律关系。
 
研究表明,城市的经济产出(如 GDP)和创新活动(如专利申请数)与城市人口 N 之间存在超线性幂律关系。
   −
<nowiki><math>Y \propto N^\beta \quad (\text{其中 } \beta > 1) </math></nowiki>
+
[math]Y \propto N^\beta \quad (\text{其中 } \beta > 1) [/math]
    
{| class="wikitable"
 
{| class="wikitable"
第291行: 第292行:  
** 基础设施:加油站 (β=0.77)、汽油销量 (β=0.79)、电缆长度 (β=0.87) 和道路面积 (β=0.83) 等指标均呈亚线性增长。这表明,较大的城市在基础设施方面实现了规模经济。
 
** 基础设施:加油站 (β=0.77)、汽油销量 (β=0.79)、电缆长度 (β=0.87) 和道路面积 (β=0.83) 等指标均呈亚线性增长。这表明,较大的城市在基础设施方面实现了规模经济。
   −
在中国和美国的城市中,GDP 与人口数 N 的幂指数  <nowiki><math>\beta  </math></nowiki> 约为 1.15。这一关系意味着,当城市人口增加一倍,GDP 增长约  <nowiki><math>2^{1.15} \approx 2.22  </math></nowiki> 倍,人均 GDP 也会随之提升。这反映了城市中的网络效应和聚集效应——人口规模增长带来更频繁的人际交互和知识溢出,使得整体产出以超过线性的速度提高。
+
在中国和美国的城市中,GDP 与人口数 N 的幂指数  [math]\beta  [/math] 约为 1.15。这一关系意味着,当城市人口增加一倍,GDP 增长约  [math]2^{1.15} \approx 2.22  [/math] 倍,人均 GDP 也会随之提升。这反映了城市中的网络效应和聚集效应——人口规模增长带来更频繁的人际交互和知识溢出,使得整体产出以超过线性的速度提高。
    
'''社会连接度'''
 
'''社会连接度'''
    
城市人口规模(N)与发明活动(以专利数量 Y 衡量)之间的关系,发现两者同样遵循超线性幂律关系,其公式为:
 
城市人口规模(N)与发明活动(以专利数量 Y 衡量)之间的关系,发现两者同样遵循超线性幂律关系,其公式为:
−
<nowiki><math>Y=cN\beta</math></nowiki>。
+
[math]Y=cN\beta[/math]。
   −
研究的核心发现是,幂律指数 <nowiki><math>\beta > 1</math></nowiki>,具体数值约为 1.27。这个超线性关系表明,随着城市人口规模的增加,人均发明产出也随之提高,体现了发明活动的规模报酬递增效应。文章进一步探讨了社会连接度在其中扮演的角色,通过分析专利合著者网络,发现发明者网络的结构特征(如连接度、密度和聚类系数)与专利增长率存在关联,但不足以完全解释观察到的超线性现象,暗示其他因素(如知识的非线性传播)同样重要。
+
研究的核心发现是,幂律指数 [math]\beta > 1[/math],具体数值约为 1.27。这个超线性关系表明,随着城市人口规模的增加,人均发明产出也随之提高,体现了发明活动的规模报酬递增效应。文章进一步探讨了社会连接度在其中扮演的角色,通过分析专利合著者网络,发现发明者网络的结构特征(如连接度、密度和聚类系数)与专利增长率存在关联,但不足以完全解释观察到的超线性现象,暗示其他因素(如知识的非线性传播)同样重要。
    
==== 社会熵 ====
 
==== 社会熵 ====
 
城市规模扩大的另一面是负面效应也在放大。研究表明,一些负面社会变量,如犯罪率、传染病新增病例、污染等,同样与城市人口之间存在超线性关系:
 
城市规模扩大的另一面是负面效应也在放大。研究表明,一些负面社会变量,如犯罪率、传染病新增病例、污染等,同样与城市人口之间存在超线性关系:
   −
<nowiki><math>E \propto N^\beta \quad (\text{其中 } \beta > 1)  </math></nowiki>
+
[math]E \propto N^\beta \quad (\text{其中 } \beta > 1)  [/math]
    
这揭示了城市作为复杂巨系统的内在矛盾:一方面,人口集聚带来超线性的繁荣;另一方面,也滋生了超线性的混乱。
 
这揭示了城市作为复杂巨系统的内在矛盾:一方面,人口集聚带来超线性的繁荣;另一方面,也滋生了超线性的混乱。
第321行: 第322行:  
这是描述城市指标(Y)与人口规模(N)之间平均关系的基础公式:
 
这是描述城市指标(Y)与人口规模(N)之间平均关系的基础公式:
   −
<nowiki><math>Y(t)=Y\_{0}N(t)^{\\beta}</math></nowiki>
+
[math]Y(t)=Y\_{0}N(t)^{\\beta}[/math]
    
其中:
 
其中:
   −
* <nowiki><math>Y(t)</math></nowiki> 是城市指标在时间 t 的值。
+
* [math]Y(t)[/math] 是城市指标在时间 t 的值。
−
* <nowiki><math>N(t)</math></nowiki> 是时间 t 的人口规模。
+
* [math]N(t)[/math] 是时间 t 的人口规模。
−
* <nowiki><math>Y\_{0}</math></nowiki> 是一个归一化常数。
+
* [math]Y\_{0}[/math] 是一个归一化常数。
−
* <nowiki><math>\\beta</math></nowiki> 是定标指数。当 <nowiki><math>\\beta \\approx 1.15</math></nowiki> 时,表示该指标具有超线性增长效应,即人口每增加一倍,该指标的人均值将系统性地增加约15%。
+
* [math]\\beta[/math] 是定标指数。当 [math]\\beta \\approx 1.15[/math] 时,表示该指标具有超线性增长效应,即人口每增加一倍,该指标的人均值将系统性地增加约15%。
    
下图展示了一个典型的超线性定标法则,即2006年美国大都市区(MSAs)的“大都市区生产总值”(GMP)与人口规模之间的关系。
 
下图展示了一个典型的超线性定标法则,即2006年美国大都市区(MSAs)的“大都市区生产总值”(GMP)与人口规模之间的关系。
第336行: 第337行:  
该指标用于量化每个特定城市相对于其规模所预期的平均水平的偏差(离差)。
 
该指标用于量化每个特定城市相对于其规模所预期的平均水平的偏差(离差)。
   −
<nowiki><math>log[\\frac{Y\_{i}}{Y(N\_{i})}] = \\zeta\_{i}</math></nowiki>
+
<nowiki>[math]log[\\frac{Y\_{i}}{Y(N\_{i})}] = \\zeta\_{i}[/math]</nowiki>
    
其中:
 
其中:
   −
* <nowiki><math>Y\_{i}</math></nowiki> 是某个特定城市的指标观察值。
+
* [math]Y\_{i}[/math] 是某个特定城市的指标观察值。
−
* <nowiki><math>Y(N\_{i})</math></nowiki> 是根据公式(1)预测的该城市规模下的平均值。
+
* [math]Y(N\_{i})[/math] 是根据公式(1)预测的该城市规模下的平均值。
−
* <nowiki><math>\\zeta\_{i}</math></nowiki> 是 SAMI 值,它是一个无量纲的指标,与城市规模无关,反映了该城市独有的成功或失败。
+
* [math]\\zeta\_{i}[/math] 是 SAMI 值,它是一个无量纲的指标,与城市规模无关,反映了该城市独有的成功或失败。
    
=== 公司 ===
 
=== 公司 ===
第354行: 第355行:  
美中欧公司的总收入(Revenue)和总成本(Cost of Operator)都与总资产(Assets)普遍呈现亚线性关系,即幂指数 β 略小于 1(中国的 Cost of Operator除外)。
 
美中欧公司的总收入(Revenue)和总成本(Cost of Operator)都与总资产(Assets)普遍呈现亚线性关系,即幂指数 β 略小于 1(中国的 Cost of Operator除外)。
   −
* <nowiki><math>Revenue \propto Assets^{0.91}  </math></nowiki> (美国)
+
* [math]Revenue \propto Assets^{0.91}  [/math] (美国)
−
* <nowiki><math>Revenue \propto Assets^{0.92}  </math></nowiki> (中国)
+
* [math]Revenue \propto Assets^{0.92}  [/math] (中国)
−
* <nowiki><math>Revenue \propto Assets^{0.93}  </math></nowiki> (欧洲)
+
* [math]Revenue \propto Assets^{0.93}  [/math] (欧洲)
−
* <nowiki><math>Cost of Operator \propto Assets^{0.81}  </math></nowiki> (美国)
+
* [math]Cost of Operator \propto Assets^{0.81}  [/math] (美国)
−
* <nowiki><math>Cost of Operator \propto Assets^{1.02}  </math></nowiki> (中国)
+
* [math]Cost of Operator \propto Assets^{1.02}  [/math] (中国)
−
* <nowiki><math>Cost of Operator \propto Assets^{0.96}  </math></nowiki> (欧洲)
+
* [math]Cost of Operator \propto Assets^{0.96}  [/math] (欧洲)
    
收入和成本的亚线性关系意味着,企业规模越大,平均每单位资产产生的收入或成本就越低。这体现了企业经营中的'''规模报酬递减'''现象。随着资产规模的扩大,企业可能面临市场饱和、管理效率下降等问题,导致新增资产带来的边际收益减少。
 
收入和成本的亚线性关系意味着,企业规模越大,平均每单位资产产生的收入或成本就越低。这体现了企业经营中的'''规模报酬递减'''现象。随着资产规模的扩大,企业可能面临市场饱和、管理效率下降等问题,导致新增资产带来的边际收益减少。
第366行: 第367行:     
净利润(Net Income)作为收入扣除成本后的剩余,与企业规模之间也遵循亚线性规模定律,而且其幂指数往往比收入更低。而且不同市场的利润幂指数相近,在0.85左右。
 
净利润(Net Income)作为收入扣除成本后的剩余,与企业规模之间也遵循亚线性规模定律,而且其幂指数往往比收入更低。而且不同市场的利润幂指数相近,在0.85左右。
−
* <nowiki><math>Net Income \propto Assets^{0.85}  </math></nowiki> (美国)
+
* [math]Net Income \propto Assets^{0.85}  [/math] (美国)
−
* <nowiki><math>Net Income \propto Assets^{0.83}  </math></nowiki> (中国)
+
* [math]Net Income \propto Assets^{0.83}  [/math] (中国)
−
* <nowiki><math>Net Income \propto Assets^{0.87}  </math></nowiki>(欧洲)
+
* [math]Net Income \propto Assets^{0.87}  [/math](欧洲)
 
该幂律关系表明,大公司的利润增长速度慢于资产的增长。也就是说,企业规模越大,在保持利润率方面反而越困难,这与生物体越庞大单位质量所消耗的能量越少类似,因此张江将这一发现称为企业中的'''“广义克莱伯定律”'''。
 
该幂律关系表明,大公司的利润增长速度慢于资产的增长。也就是说,企业规模越大,在保持利润率方面反而越困难,这与生物体越庞大单位质量所消耗的能量越少类似,因此张江将这一发现称为企业中的'''“广义克莱伯定律”'''。
   第374行: 第375行:     
公司的总债务(Liability)与总资产之间的幂律关系,则反映了不同市场环境下资本分配的差异。
 
公司的总债务(Liability)与总资产之间的幂律关系,则反映了不同市场环境下资本分配的差异。
−
* <nowiki><math>Liability \propto Assets^{1.00}  </math></nowiki> (美国)
+
* [math]Liability \propto Assets^{1.00}  [/math] (美国)
−
* <nowiki><math>Liability \propto Assets^{1.09}  </math></nowiki> (中国)
+
* [math]Liability \propto Assets^{1.09}  [/math] (中国)
−
* <nowiki><math>Liability \propto Assets^{1.08}  </math></nowiki> (欧洲)
+
* [math]Liability \propto Assets^{1.08}  [/math] (欧洲)
    
在美国市场中,总债务随总资产近似线性增长,表明大、小企业平均负债率相差不大。中国、欧洲企业的债务规模法则呈现'''超线性特征''',这说明公司在变大时,其负债增长速度快于资产本身的增长。这体现了'''“强者愈强”'''的资本倾斜现象,大型企业更容易获得贷款,但同时也潜藏着更高的财务风险。
 
在美国市场中,总债务随总资产近似线性增长,表明大、小企业平均负债率相差不大。中国、欧洲企业的债务规模法则呈现'''超线性特征''',这说明公司在变大时,其负债增长速度快于资产本身的增长。这体现了'''“强者愈强”'''的资本倾斜现象,大型企业更容易获得贷款,但同时也潜藏着更高的财务风险。
    
==== 公司作为组织:基于员工数的规模法则 ====
 
==== 公司作为组织:基于员工数的规模法则 ====
−
上表数据展示了2009年美国上市公司各项变量与员工数(E)之间的规模法则。该法则可以用公式 <nowiki><math>Y = cE^{\gamma}</math></nowiki> 来描述,其中:
+
上表数据展示了2009年美国上市公司各项变量与员工数(E)之间的规模法则。该法则可以用公式 [math]Y = cE^{\gamma}[/math] 来描述,其中:
   −
* <nowiki><math>Y</math></nowiki> 代表了表格中的各个变量,如总销售额、总资产、研发支出等。
+
* [math]Y[/math] 代表了表格中的各个变量,如总销售额、总资产、研发支出等。
−
* <nowiki><math>E</math></nowiki> 代表员工数,是衡量企业规模的基底。
+
* [math]E[/math] 代表员工数,是衡量企业规模的基底。
−
* <nowiki><math>\gamma</math></nowiki> (伽马) 是幂指数,是衡量变量随企业规模(员工数)增长的速度。
+
* [math]\gamma[/math] (伽马) 是幂指数,是衡量变量随企业规模(员工数)增长的速度。
−
* <nowiki><math>c</math></nowiki> 是一个比例系数。
+
* [math]c[/math] 是一个比例系数。
    
表格中的数据揭示了几个重要的发现:
 
表格中的数据揭示了几个重要的发现:
   −
* 亚线性规模法则:表格中所有的幂指数 <nowiki><math>\gamma</math></nowiki> 都小于1,这表明当企业规模(员工数)扩大时,所有的变量都以比员工数增长更慢的速度增长。这与城市和互联网社区的超线性增长(<nowiki><math>\gamma > 1</math></nowiki>)形成鲜明对比,也表明企业并非是一种高效的人类组织。
+
* 亚线性规模法则:表格中所有的幂指数 [math]\gamma[/math] 都小于1,这表明当企业规模(员工数)扩大时,所有的变量都以比员工数增长更慢的速度增长。这与城市和互联网社区的超线性增长([math]\gamma > 1[/math])形成鲜明对比,也表明企业并非是一种高效的人类组织。
 
* 人均产出的下降:由于所有变量的增长速度都比员工数慢,这意味着人均值(如人均销售额、人均资产、人均研发支出)都会随着企业规模的扩大而减小。这证实了“大企业病”的存在,即公司规模越大,效率反而可能越低。
 
* 人均产出的下降:由于所有变量的增长速度都比员工数慢,这意味着人均值(如人均销售额、人均资产、人均研发支出)都会随着企业规模的扩大而减小。这证实了“大企业病”的存在,即公司规模越大,效率反而可能越低。
 
* 不同变量的增长速度不同:尽管所有变量的幂指数都小于1,但它们的值各不相同,这表明不同变量随企业规模增长的速度是不同的。
 
* 不同变量的增长速度不同:尽管所有变量的幂指数都小于1,但它们的值各不相同,这表明不同变量随企业规模增长的速度是不同的。
−
** 增长最快:总销售额(<nowiki><math>\gamma = 0.99</math></nowiki>)和总税收、销售成本(<nowiki><math>\gamma = 0.96</math></nowiki>)等财务收入和成本的增长速度最接近员工数。
+
** 增长最快:总销售额([math]\gamma = 0.99[/math])和总税收、销售成本([math]\gamma = 0.96[/math])等财务收入和成本的增长速度最接近员工数。
−
** 增长较慢:开店数量(<nowiki><math>\gamma = 0.41</math></nowiki>)、股东数量(<nowiki><math>\gamma = 0.27</math></nowiki>)、关店数量(<nowiki><math>\gamma = 0.25</math></nowiki>)和部门数量(<nowiki><math>\gamma = 0.12</math></nowiki>)等变量的幂指数非常低。
+
** 增长较慢:开店数量([math]\gamma = 0.41[/math])、股东数量([math]\gamma = 0.27[/math])、关店数量([math]\gamma = 0.25[/math])和部门数量([math]\gamma = 0.12[/math])等变量的幂指数非常低。
 
尽管企业规模在扩大,但其产出和各项指标的增长并未跟上员工数量的增长,这体现了企业在效率方面的局限性。
 
尽管企业规模在扩大,但其产出和各项指标的增长并未跟上员工数量的增长,这体现了企业在效率方面的局限性。
   第419行: 第420行:  
文章首先提出了一个基于能量守恒的基本方程,用来描述代谢能量在生物体内的分配:
 
文章首先提出了一个基于能量守恒的基本方程,用来描述代谢能量在生物体内的分配:
   −
<nowiki><math>B = \sum_{c}[N_c B_c + E_c \frac{dN_c}{dt}]  </math></nowiki>
+
[math]B = \sum_{c}[N_c B_c + E_c \frac{dN_c}{dt}]  [/math]
   −
* <nowiki><math>B</math></nowiki> 是生物体在t时刻的平均静息代谢率。
+
* [math]B[/math] 是生物体在t时刻的平均静息代谢率。
−
* <nowiki><math>N_c  </math></nowiki> 是细胞总数。
+
* [math]N_c  [/math] 是细胞总数。
−
* <nowiki><math>B_c  </math></nowiki> 是单个细胞的代谢率。
+
* [math]B_c  [/math] 是单个细胞的代谢率。
−
* <nowiki><math>E_c  </math></nowiki> 是创造一个新细胞所需的代谢能量。
+
* [math]E_c  [/math] 是创造一个新细胞所需的代谢能量。
−
* <nowiki><math>N_c B_c  </math></nowiki> 代表维持现有组织所需的能量。
+
* [math]N_c B_c  [/math] 代表维持现有组织所需的能量。
−
* <nowiki><math>E_c \frac{dN_c}{dt}  </math></nowiki> 代表用于产生新细胞、即用于生长的能量。
+
* [math]E_c \frac{dN_c}{dt}  [/math] 代表用于产生新细胞、即用于生长的能量。
 
这个方程的推导基于一个前提:生物体的代谢能量被分配用于维持现有组织和产生新组织(生长)。
 
这个方程的推导基于一个前提:生物体的代谢能量被分配用于维持现有组织和产生新组织(生长)。
    
=== 结合规模法则的生长方程 ===
 
=== 结合规模法则的生长方程 ===
−
文章进一步将上述能量守恒方程转化为质量增长的微分方程 (10)。因为总质量 m 等于细胞总数  <nowiki><math>N_c  </math></nowiki> 乘以单个细胞的质量 mc (即  <nowiki><math>m = m_c N_c  </math></nowiki>),所以方程可以重写为:
+
文章进一步将上述能量守恒方程转化为质量增长的微分方程 (10)。因为总质量 m 等于细胞总数  [math]N_c  [/math] 乘以单个细胞的质量 mc (即  [math]m = m_c N_c  [/math]),所以方程可以重写为:
   −
<nowiki><math>\frac{dm}{dt} = (\frac{m_c}{E_c})B - (\frac{B_c}{E_c})m  </math></nowiki>
+
[math]\frac{dm}{dt} = (\frac{m_c}{E_c})B - (\frac{B_c}{E_c})m  [/math]
    
这是描述质量增长率的基础方程。
 
这是描述质量增长率的基础方程。
第438行: 第439行:  
为了将这个方程与规模法则联系起来,作者引入了克莱伯定律(Kleiber's Law)的 3/4 幂律关系,即生物体的静息代谢率 B 与其总质量 m 遵循以下关系:
 
为了将这个方程与规模法则联系起来,作者引入了克莱伯定律(Kleiber's Law)的 3/4 幂律关系,即生物体的静息代谢率 B 与其总质量 m 遵循以下关系:
   −
<nowiki><math>B = B_0 m^{3/4}  </math></nowiki>
+
[math]B = B_0 m^{3/4}  [/math]
   −
<nowiki><math>B_0</math></nowiki> 是一个常数。
+
[math]B_0[/math] 是一个常数。
   −
将  <nowiki><math>B = B_0 m^{3/4}  </math></nowiki> 代入质量增长方程,得到了一个关键的生长方程:
+
将  [math]B = B_0 m^{3/4}  [/math] 代入质量增长方程,得到了一个关键的生长方程:
   −
<nowiki><math>\frac{dm}{dt} = am^{3/4} - bm  </math></nowiki>
+
[math]\frac{dm}{dt} = am^{3/4} - bm  [/math]
   −
<nowiki><math>a</math></nowiki> 和 <nowiki><math>b</math></nowiki> 是常数,其中 <nowiki><math>a \equiv B_0 m_c / E_c  </math></nowiki> 且  <nowiki><math>b \equiv B_c / E_c  </math></nowiki>。
+
[math]a[/math] 和 [math]b[/math] 是常数,其中 [math]a \equiv B_0 m_c / E_c  [/math] 且  [math]b \equiv B_c / E_c  [/math]。
    
=== 解释渐近最大体型 (Determinate Growth) ===
 
=== 解释渐近最大体型 (Determinate Growth) ===
−
这个方程解释了为什么生物体具有确定的最大体型(determinate growth)。当增长率  <nowiki><math>\frac{dm}{dt}=0  </math></nowiki> 时,生物体达到其渐近最大体型 M。从方程中可以看出:
+
这个方程解释了为什么生物体具有确定的最大体型(determinate growth)。当增长率  [math]\frac{dm}{dt}=0  [/math] 时,生物体达到其渐近最大体型 M。从方程中可以看出:
   −
<nowiki><math>0 = aM^{3/4} - bM  </math></nowiki>
+
[math]0 = aM^{3/4} - bM  [/math]
    
从而得到最大体型 M 的表达式:
 
从而得到最大体型 M 的表达式:
   −
<nowiki><math>M = (\frac{a}{b})^4 = (\frac{B_0 m_c}{B_c})^4  </math></nowiki>
+
[math]M = (\frac{a}{b})^4 = (\frac{B_0 m_c}{B_c})^4  [/math]
   −
这个结果表明,物种之间的最大体型差异主要由其细胞代谢率  <nowiki><math>B_c  </math></nowiki> 的系统性变化决定。
+
这个结果表明,物种之间的最大体型差异主要由其细胞代谢率  [math]B_c  [/math] 的系统性变化决定。
    
=== 统一的、无参数的生长曲线 ===
 
=== 统一的、无参数的生长曲线 ===
−
通过将  <nowiki><math>b=a/M^{1/4}  </math></nowiki> 代回生长方程,文章得到了一个更具普遍性的形式:
+
通过将  [math]b=a/M^{1/4}  [/math] 代回生长方程,文章得到了一个更具普遍性的形式:
   −
<nowiki><math>\frac{dm}{dt} = am^{3/4}[1 - (\frac{m}{M})^{1/4}]  </math></nowiki>
+
[math]\frac{dm}{dt} = am^{3/4}[1 - (\frac{m}{M})^{1/4}]  [/math]
    
通过对这个微分方程进行积分,可以得到一个描述质量 m 随时间 t 变化的经典S形曲线方程:
 
通过对这个微分方程进行积分,可以得到一个描述质量 m 随时间 t 变化的经典S形曲线方程:
   −
<nowiki><math>(\frac{m}{M})^{1/4} = 1 - [1 - (\frac{m_0}{M})^{1/4}]e^{-at/4M^{1/4}}  </math></nowiki>
+
<nowiki>[math](\frac{m}{M})^{1/4} = 1 - [1 - (\frac{m_0}{M})^{1/4}]e^{-at/4M^{1/4}}  [/math]</nowiki>
   −
* <nowiki><math>m_0  </math></nowiki> 是出生时的质量。
+
* [math]m_0  [/math] 是出生时的质量。
   −
这个方程可以被重新整理为一个无参数的普适曲线,通过将无量纲质量比 r 和无量纲时间  <nowiki><math>\tau  </math></nowiki> 绘制在一起来展示:
+
这个方程可以被重新整理为一个无参数的普适曲线,通过将无量纲质量比 r 和无量纲时间  [math]\tau  [/math] 绘制在一起来展示:
    
* 无量纲质量比:
 
* 无量纲质量比:
   −
<nowiki><math>r \equiv (m/M)^{1/4}  </math></nowiki>
+
[math]r \equiv (m/M)^{1/4}  [/math]
    
* 无量纲时间:
 
* 无量纲时间:
   −
<nowiki><math>\tau \equiv at/4M^{1/4} - \ln[1 - (m_0/M)^{1/4}]  </math></nowiki>
+
[math]\tau \equiv at/4M^{1/4} - \ln[1 - (m_0/M)^{1/4}]  [/math]
   −
这个模型预测,所有物种的生长曲线,无论其分类群、细胞代谢率或成熟体型如何,都应该落在同一条普适曲线  <nowiki><math>r=1-e^{-\tau}  </math></nowiki> 上。这表明,尽管物种大小差异巨大,它们的生长过程在能量分配和时间尺度上具有普适的内在规律。
+
这个模型预测,所有物种的生长曲线,无论其分类群、细胞代谢率或成熟体型如何,都应该落在同一条普适曲线  [math]r=1-e^{-\tau}  [/math] 上。这表明,尽管物种大小差异巨大,它们的生长过程在能量分配和时间尺度上具有普适的内在规律。
    
== 城市生长方程 ==
 
== 城市生长方程 ==
第488行: 第489行:  
从规模法则推导出的城市生长方程是:
 
从规模法则推导出的城市生长方程是:
   −
<nowiki><math>\frac{dN(t)}{dt} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)</math></nowiki>
+
<nowiki>[math]\frac{dN(t)}{dt} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)[/math]</nowiki>
   −
* <nowiki><math>N(t)</math></nowiki>:城市在时间 $$t$$ 的人口规模
+
* [math]N(t)[/math]:城市在时间 $$t$$ 的人口规模
−
* <nowiki><math>\frac{dN(t)}{dt}</math></nowiki>:人口随时间的变化率,即城市增长率
+
* [math]\frac{dN(t)}{dt}[/math]:人口随时间的变化率,即城市增长率
−
* <nowiki><math>Y_{0}</math></nowiki>:一个归一化常数
+
* [math]Y_{0}[/math]:一个归一化常数
−
* <nowiki><math>\beta</math></nowiki>:缩放指数(scaling exponent),反映了系统的一般动态规则
+
* [math]\beta[/math]:缩放指数(scaling exponent),反映了系统的一般动态规则
−
* <nowiki><math>R</math></nowiki>:维持每个个体平均所需的资源量
+
* [math]R[/math]:维持每个个体平均所需的资源量
−
* <nowiki><math>E</math></nowiki>:增加一个新个体所需的平均资源量
+
* [math]E[/math]:增加一个新个体所需的平均资源量
   −
文章首先从一个基本的假设开始:城市的增长受到可用资源及其消耗速度的制约。作者提出,资源 <nowiki><math>Y</math></nowiki> 被用于两个主要方面:维持现有的人口和促使新的人口增长。
+
文章首先从一个基本的假设开始:城市的增长受到可用资源及其消耗速度的制约。作者提出,资源 [math]Y[/math] 被用于两个主要方面:维持现有的人口和促使新的人口增长。
    
1. 资源被分配来维持人口和增加新人口。这个关系被表达为:
 
1. 资源被分配来维持人口和增加新人口。这个关系被表达为:
   −
<nowiki><math>Y = RN + E(\frac{dN}{dt})</math></nowiki>
+
[math]Y = RN + E(\frac{dN}{dt})[/math]
   −
* <nowiki><math>RN</math></nowiki> 代表维持现有 <nowiki><math>N</math></nowiki> 个个体所需的资源总量,其中 <nowiki><math>R</math></nowiki> 是维持每个个体所需的资源量。
+
* [math]RN[/math] 代表维持现有 [math]N[/math] 个个体所需的资源总量,其中 [math]R[/math] 是维持每个个体所需的资源量。
−
* <nowiki><math>E(\frac{dN}{dt})</math></nowiki> 代表增加新人口所需的资源总量,其中 <nowiki><math>E</math></nowiki> 是增加一个新个体所需的资源量,<nowiki><math>\frac{dN}{dt}</math></nowiki> 是人口增长率。
+
* [math]E(\frac{dN}{dt})[/math] 代表增加新人口所需的资源总量,其中 [math]E[/math] 是增加一个新个体所需的资源量,[math]\frac{dN}{dt}[/math] 是人口增长率。
   −
2. 接下来,作者将规模法则(Scaling Law)引入这个方程。规模法则描述了城市的某个属性 <nowiki><math>Y</math></nowiki> 与其人口规模 <nowiki><math>N(t)</math></nowiki> 之间的幂律关系:
+
2. 接下来,作者将规模法则(Scaling Law)引入这个方程。规模法则描述了城市的某个属性 [math]Y[/math] 与其人口规模 [math]N(t)[/math] 之间的幂律关系:
   −
<nowiki><math>Y(t) = Y_{0}N(t)^{\beta}</math></nowiki>
+
[math]Y(t) = Y_{0}N(t)^{\beta}[/math]
    
3. 将规模法则的表达式代入资源分配方程中,得到:
 
3. 将规模法则的表达式代入资源分配方程中,得到:
−
<nowiki><math>Y_{0}N(t)^{\beta} = RN(t) + E(\frac{dN}{dt})</math></nowiki>
+
[math]Y_{0}N(t)^{\beta} = RN(t) + E(\frac{dN}{dt})[/math]
   −
4. 最后,对这个方程进行重新整理,解出人口增长率 <nowiki><math>\frac{dN}{dt}</math></nowiki>,从而得到最终的城市生长方程:
+
4. 最后,对这个方程进行重新整理,解出人口增长率 [math]\frac{dN}{dt}[/math],从而得到最终的城市生长方程:
   −
<nowiki><math>\frac{dN(t)}{dt} = \frac{Y_{0}N(t)^{\beta} - RN(t)}{E} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)</math></nowiki>
+
<nowiki>[math]\frac{dN(t)}{dt} = \frac{Y_{0}N(t)^{\beta} - RN(t)}{E} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)[/math]</nowiki>
   −
这个生长方程的解会根据缩放指数 <nowiki><math>\beta</math></nowiki> 的值呈现出亚线性、线性、超线性三种截然不同的增长模式,其中城市属于超线性增长, <nowiki><math>\beta > 1</math></nowiki>。城市人口的增长是无限制的,并将在一个有限的时间内达到“奇点”(Singularity),即城市规模的增长速度比指数增长还要快。这反映了城市独特的自催化(autocatalytic)性质,即城市规模的扩大能通过创新和社交互动等过程进一步加速自身的增长。
+
这个生长方程的解会根据缩放指数 [math]\beta[/math] 的值呈现出亚线性、线性、超线性三种截然不同的增长模式,其中城市属于超线性增长, [math]\beta > 1[/math]。城市人口的增长是无限制的,并将在一个有限的时间内达到“奇点”(Singularity),即城市规模的增长速度比指数增长还要快。这反映了城市独特的自催化(autocatalytic)性质,即城市规模的扩大能通过创新和社交互动等过程进一步加速自身的增长。
    
当资源稀缺时,超线性动态的特点是崩溃(collapse)。尽管城市最初可能呈现超线性增长,但由于资源的限制,这种快速增长最终会达到一个临界点,并迅速崩溃。这反映了过度依赖有限资源而导致的不稳定性和脆弱性。
 
当资源稀缺时,超线性动态的特点是崩溃(collapse)。尽管城市最初可能呈现超线性增长,但由于资源的限制,这种快速增长最终会达到一个临界点,并迅速崩溃。这反映了过度依赖有限资源而导致的不稳定性和脆弱性。
第524行: 第525行:  
城市生长方程与生物和公司模型的核心区别在于其内在机制和增长模式:
 
城市生长方程与生物和公司模型的核心区别在于其内在机制和增长模式:
   −
* 增长极限:生物的生长方程(如West方程)解释了为什么生物体最终会达到一个确定的最大体型(determinate growth)。这是因为生物体的代谢率呈亚线性增长(<nowiki><math>β<1</math></nowiki>),而维持生命的成本呈线性增长,当两者达到平衡时,增长便会停止。公司的增长则更复杂,其增长轨迹受财务结构影响,但普遍呈现亚线性的幂律增长,而非指数增长或无限增长。相比之下,城市的超线性增长(<nowiki><math>β>1</math></nowiki>)意味着其在理论上没有增长上限,除非面临外部资源约束,否则将持续加速。
+
* 增长极限:生物的生长方程(如West方程)解释了为什么生物体最终会达到一个确定的最大体型(determinate growth)。这是因为生物体的代谢率呈亚线性增长([math]β<1[/math]),而维持生命的成本呈线性增长,当两者达到平衡时,增长便会停止。公司的增长则更复杂,其增长轨迹受财务结构影响,但普遍呈现亚线性的幂律增长,而非指数增长或无限增长。相比之下,城市的超线性增长([math]β>1[/math])意味着其在理论上没有增长上限,除非面临外部资源约束,否则将持续加速。
 
* 内在机制:生物的增长由能量在维持现有组织和创造新组织之间的分配决定,其代谢效率随规模增大而降低。公司的增长则由财务收支决定,其核心是净收入与资产、负债之间的幂律关系。城市的增长是社会经济活动的结果,其超线性本质源于人口密度增加所带来的创新、财富创造和信息流动效率的提升。
 
* 内在机制:生物的增长由能量在维持现有组织和创造新组织之间的分配决定,其代谢效率随规模增大而降低。公司的增长则由财务收支决定,其核心是净收入与资产、负债之间的幂律关系。城市的增长是社会经济活动的结果,其超线性本质源于人口密度增加所带来的创新、财富创造和信息流动效率的提升。
−
* 规模法则差异:生物体的关键属性(如代谢率)随体型呈亚线性增长,即 <nowiki><math>β=3/4</math></nowiki>。公司的收入等财务指标随资产规模呈亚线性增长,即 <nowiki><math>β≈0.85</math></nowiki>。而城市的创新率、收入和专利数量等关键社会经济指标则随人口呈超线性增长,即 <nowiki><math>β>1</math></nowiki>,这正是城市区别于前两者的根本特征。
+
* 规模法则差异:生物体的关键属性(如代谢率)随体型呈亚线性增长,即 [math]β=3/4[/math]。公司的收入等财务指标随资产规模呈亚线性增长,即 [math]β≈0.85[/math]。而城市的创新率、收入和专利数量等关键社会经济指标则随人口呈超线性增长,即 [math]β>1[/math],这正是城市区别于前两者的根本特征。
    
=== 超线性增长:奇点 ===
 
=== 超线性增长:奇点 ===
−
贝当古等提出,由超线性规模法则(<nowiki><math>\beta > 1</math></nowiki>)驱动的城市增长,其内在特性是不可持续的,因为它会导致人口在有限时间内达到一个“奇点”(singularity),即人口无限增长。这种增长模式被称“繁荣-崩溃”(boom/collapse)模式,如果不加干预,最终会停滞或崩溃。
+
贝当古等提出,由超线性规模法则([math]\beta > 1[/math])驱动的城市增长,其内在特性是不可持续的,因为它会导致人口在有限时间内达到一个“奇点”(singularity),即人口无限增长。这种增长模式被称“繁荣-崩溃”(boom/collapse)模式,如果不加干预,最终会停滞或崩溃。
    
为了避免这种危机,城市必须进行“重大质变”,也就是通过创新来“重置”初始条件和参数。这种创新活动确保了城市的主导动力仍然处于“财富和知识创造”的超线性增长阶段。
 
为了避免这种危机,城市必须进行“重大质变”,也就是通过创新来“重置”初始条件和参数。这种创新活动确保了城市的主导动力仍然处于“财富和知识创造”的超线性增长阶段。
   −
当城市生长方程的 <nowiki><math>\beta > 1</math></nowiki> 时,这个方程的解会产生一个“超指数”(superexponential)增长曲线,并在一个有限时间 <nowiki><math>t_c</math></nowiki> 处发散 。这个 <nowiki><math>t_c</math></nowiki> 被称为“奇点时间”或“崩溃时间”。这个 <nowiki><math>t_c</math></nowiki> 的值由以下公式近似得出:
+
当城市生长方程的 [math]\beta > 1[/math] 时,这个方程的解会产生一个“超指数”(superexponential)增长曲线,并在一个有限时间 [math]t_c[/math] 处发散 。这个 [math]t_c[/math] 被称为“奇点时间”或“崩溃时间”。这个 [math]t_c[/math] 的值由以下公式近似得出:
   −
<nowiki><math>t_{c} \approx [\frac{E}{(\beta-1)R}]\frac{1}{N^{\beta-1}(0)}</math></nowiki>
+
[math]t_{c} \approx [\frac{E}{(\beta-1)R}]\frac{1}{N^{\beta-1}(0)}[/math]
   −
为了避免崩溃,城市必须在接近奇点时间 <nowiki><math>t_c</math></nowiki> 时引入新的创新周期。每一次新的创新都有效地重置了增长参数,开启了一个新的超线性增长周期。
+
为了避免崩溃,城市必须在接近奇点时间 [math]t_c[/math] 时引入新的创新周期。每一次新的创新都有效地重置了增长参数,开启了一个新的超线性增长周期。
   −
关键的结论是,为了维持持续增长,创新周期之间的时间间隔必须不断缩短。这是因为根据奇点时间公式 <nowiki><math>t_{c} \propto 1/N^{\beta-1}(0)</math></nowiki> ,当人口 <nowiki><math>N</math></nowiki> 增加时,达到下一次崩溃的时间 <nowiki><math>t_c</math></nowiki> 会变短。因此,新的重大创新或适应措施必须以不断加速的速率出现,才能维持城市的增长。
+
关键的结论是,为了维持持续增长,创新周期之间的时间间隔必须不断缩短。这是因为根据奇点时间公式 [math]t_{c} \propto 1/N^{\beta-1}(0)[/math] ,当人口 [math]N[/math] 增加时,达到下一次崩溃的时间 [math]t_c[/math] 会变短。因此,新的重大创新或适应措施必须以不断加速的速率出现,才能维持城市的增长。
    
== 企业生长方程 ==
 
== 企业生长方程 ==
第546行: 第547行:  
核心理论建立在两个基本假设之上:
 
核心理论建立在两个基本假设之上:
   −
1. '''财务平衡方程''': 公司的总资产 <nowiki><math>A(t)</math></nowiki> 随时间的变化率,等于其净收入 <nowiki><math>I(t)</math></nowiki> 加上负债 <nowiki><math>L(t)</math></nowiki> 的变化率。在忽略资本注入和股息支付等次要因素后,这一关系可以表达为微分形式:
+
1. '''财务平衡方程''': 公司的总资产 [math]A(t)[/math] 随时间的变化率,等于其净收入 [math]I(t)[/math] 加上负债 [math]L(t)[/math] 的变化率。在忽略资本注入和股息支付等次要因素后,这一关系可以表达为微分形式:
   −
<nowiki><math>\frac{dA}{dt}=I(t)+\frac{dL}{dt}</math></nowiki>
+
[math]\frac{dA}{dt}=I(t)+\frac{dL}{dt}[/math]
    
此方程在任何时刻都精确成立,它描述了公司的资源流入和流出如何驱动其增长。
 
此方程在任何时刻都精确成立,它描述了公司的资源流入和流出如何驱动其增长。
   −
2. '''公司的财务指标'''(如净收入 <nowiki><math>I</math></nowiki> 和负债 <nowiki><math>L</math></nowiki>)与公司规模(用总资产 <nowiki><math>A</math></nowiki> 衡量)之间存在幂律关系。这与生物体和城市中观察到的异速生长(allometric scaling)现象类似:
+
2. '''公司的财务指标'''(如净收入 [math]I[/math] 和负债 [math]L[/math])与公司规模(用总资产 [math]A[/math] 衡量)之间存在幂律关系。这与生物体和城市中观察到的异速生长(allometric scaling)现象类似:
   −
<nowiki><math>X(A)=c_{X}A^{\beta_{X}}</math></nowiki>
+
<nowiki>[math]X(A)=c_{X}A^{\beta_{X}}[/math]</nowiki>
   −
其中 <nowiki><math>X</math></nowiki> 代表某一财务指标,<nowiki><math>c_X</math></nowiki> 为归一化常数,<nowiki><math>\beta_X</math></nowiki> 为标度指数。
+
其中 [math]X[/math] 代表某一财务指标,[math]c_X[/math] 为归一化常数,[math]\beta_X[/math] 为标度指数。
    
=== 重要公式推导===
 
=== 重要公式推导===
第563行: 第564行:  
首先,根据链式法则,负债的变化率可以表示为:
 
首先,根据链式法则,负债的变化率可以表示为:
   −
<nowiki><math>\frac{dL}{dt}=(\frac{dL}{dA})(\frac{dA}{dt})</math></nowiki>
+
[math]\frac{dL}{dt}=(\frac{dL}{dA})(\frac{dA}{dt})[/math]
   −
将规模法则 <nowiki><math>L=c_{L}A^{\beta_{L}}</math></nowiki> 代入,得到:
+
<nowiki>将规模法则 [math]L=c_{L}A^{\beta_{L}}[/math] 代入,得到:</nowiki>
   −
<nowiki><math>\frac{dL}{dA} = c_{L}\beta_{L}A^{\beta_{L}-1}</math></nowiki>。
+
[math]\frac{dL}{dA} = c_{L}\beta_{L}A^{\beta_{L}-1}[/math]。
   −
将此项以及收入的规模法则 <nowiki><math>I=c_{I}A^{\beta_{I}}</math></nowiki> 代入财务平衡方程 <nowiki><math>\frac{dA}{dt}=I+\frac{dL}{dt}</math></nowiki>,得到:
+
<nowiki>将此项以及收入的规模法则 [math]I=c_{I}A^{\beta_{I}}[/math] 代入财务平衡方程 [math]\frac{dA}{dt}=I+\frac{dL}{dt}[/math],得到:</nowiki>
   −
<nowiki><math>\frac{dA}{dt} = c_{I}A^{\beta_{I}} + c_{L}\beta_{L}A^{\beta_{L}-1}\frac{dA}{dt}</math></nowiki>
+
<nowiki>[math]\frac{dA}{dt} = c_{I}A^{\beta_{I}} + c_{L}\beta_{L}A^{\beta_{L}-1}\frac{dA}{dt}[/math]</nowiki>
    
重新整理此方程,得到'''通用企业增长率方程(Generalized Growth Equation)''':
 
重新整理此方程,得到'''通用企业增长率方程(Generalized Growth Equation)''':
   −
<nowiki><math>\frac{dA}{dt}=\frac{c_{I}A^{\beta_{I}}}{1-c_{L}\beta_{L}A^{\beta_{L}-1}}</math></nowiki>
+
<nowiki>[math]\frac{dA}{dt}=\frac{c_{I}A^{\beta_{I}}}{1-c_{L}\beta_{L}A^{\beta_{L}-1}}[/math]</nowiki>
   −
这个方程描述了公司资产 <nowiki><math>A</math></nowiki> 随时间 <nowiki><math>t</math></nowiki> 变化的速率。
+
这个方程描述了公司资产 [math]A[/math] 随时间 [math]t[/math] 变化的速率。
    
=== 通用增长轨迹曲线与近似解 ===
 
=== 通用增长轨迹曲线与近似解 ===
−
上述微分方程的解给出了公司随时间的增长轨迹。通过对该方程进行积分,可以得到一个描述公司资产 <nowiki><math>A(t)</math></nowiki> 与其年龄 <nowiki><math>t</math></nowiki> 之间关系的隐式表达式:
+
上述微分方程的解给出了公司随时间的增长轨迹。通过对该方程进行积分,可以得到一个描述公司资产 [math]A(t)[/math] 与其年龄 [math]t[/math] 之间关系的隐式表达式:
    
'''通用增长曲线(Generalized Growth Curve)'''
 
'''通用增长曲线(Generalized Growth Curve)'''
   −
<nowiki><math>t = \frac{A^{1-\beta_{I}}}{c_{I}(1-\beta_{I})}[1-(\frac{1-\beta_{I}}{\beta_{L}-\beta_{I}})c_{L}\beta_{L}A^{\beta_{L}-1}]</math></nowiki>
+
<nowiki>[math]t = \frac{A^{1-\beta_{I}}}{c_{I}(1-\beta_{I})}[1-(\frac{1-\beta_{I}}{\beta_{L}-\beta_{I}})c_{L}\beta_{L}A^{\beta_{L}-1}][/math]</nowiki>
   −
这个方程通常无法直接反解出 <nowiki><math>A(t)</math></nowiki> 的显式表达式。然而,当负债的标度指数 <nowiki><math>\beta_L</math></nowiki> 约等于 1 时,可以得到一个很好的近似解:
+
这个方程通常无法直接反解出 [math]A(t)[/math] 的显式表达式。然而,当负债的标度指数 [math]\beta_L[/math] 约等于 1 时,可以得到一个很好的近似解:
    
'''幂律增长近似解(Power Law Approximation)'''
 
'''幂律增长近似解(Power Law Approximation)'''
   −
<nowiki><math>A(t) \approx ct^{\gamma}</math></nowiki>
+
[math]A(t) \approx ct^{\gamma}[/math]
   −
其中,指数 <nowiki><math>\gamma</math></nowiki> 和系数 <nowiki><math>c</math></nowiki> 由标度指数 <nowiki><math>\beta_L</math></nowiki> 和 <nowiki><math>\beta_I</math></nowiki> 决定。当 <nowiki><math>\beta_L</math></nowiki> 恰好等于 1 时(例如在美国市场),指数 <nowiki><math>\gamma</math></nowiki> 的表达式简化为 <nowiki><math>\gamma = \frac{1}{1-\beta_{I}}</math></nowiki>。根据美国市场的实证数据,<nowiki><math>\beta_I \approx 0.85</math></nowiki>,这导致 <nowiki><math>\gamma \approx 6.79</math></nowiki>。
+
<nowiki>其中,指数 [math]\gamma[/math] 和系数 [math]c[/math] 由标度指数 [math]\beta_L[/math] 和 [math]\beta_I[/math] 决定。当 [math]\beta_L[/math] 恰好等于 1 时(例如在美国市场),指数 [math]\gamma[/math] 的表达式简化为 [math]\gamma = \frac{1}{1-\beta_{I}}[/math]。根据美国市场的实证数据,[math]\beta_I \approx 0.85[/math],这导致 [math]\gamma \approx 6.79[/math]。</nowiki>
   −
该模型表明,公司的增长轨迹是一个复杂的、由其内在财务结构决定的动态过程。与生物体最终停止生长的S形曲线不同,该模型预测的公司可以经历类似城市一样的开放式增长,即亚线性的幂律增长。这种理论框架能够灵活地整合不同市场的异质性(例如,中国、欧洲市场的 <nowiki><math>\beta_L</math></nowiki> 略大于1)并做出准确的预测。
+
该模型表明,公司的增长轨迹是一个复杂的、由其内在财务结构决定的动态过程。与生物体最终停止生长的S形曲线不同,该模型预测的公司可以经历类似城市一样的开放式增长,即亚线性的幂律增长。这种理论框架能够灵活地整合不同市场的异质性(例如,中国、欧洲市场的 [math]\beta_L[/math] 略大于1)并做出准确的预测。
    
=== 模型的验证 ===
 
=== 模型的验证 ===
第611行: 第612行:  
该理论的基础是生物的代谢率(B),其取决于生物体质量(M)和绝对温度(T)。代谢率的规模法则方程为:
 
该理论的基础是生物的代谢率(B),其取决于生物体质量(M)和绝对温度(T)。代谢率的规模法则方程为:
   −
<nowiki><math>B \propto M^{3/4}e^{-E/kT}</math></nowiki>
+
[math]B \propto M^{3/4}e^{-E/kT}[/math]
    
其中:
 
其中:
   −
* <nowiki><math>M</math></nowiki> 代表生物体质量。
+
* [math]M[/math] 代表生物体质量。
−
* <nowiki><math>e^{-E/kT}</math></nowiki> 是玻尔兹曼-阿伦尼乌斯因子,表示温度的指数依赖性,其中 <nowiki><math>E</math></nowiki> 是活化能,k 是玻尔兹曼常数。
+
* [math]e^{-E/kT}[/math] 是玻尔兹曼-阿伦尼乌斯因子,表示温度的指数依赖性,其中 [math]E[/math] 是活化能,k 是玻尔兹曼常数。
    
'''推导死亡率方程'''
 
'''推导死亡率方程'''
   −
单位质量的代谢率(<nowiki><math>B/M</math></nowiki>)遵循的方程是:
+
单位质量的代谢率([math]B/M[/math])遵循的方程是:
   −
<nowiki><math>B/M \propto M^{-1/4}e^{-E/kT}</math></nowiki>
+
[math]B/M \propto M^{-1/4}e^{-E/kT}[/math]
    
该理论进一步预测,由于新陈代谢是生物体内所有速率过程的基础,包括决定生长和繁殖的速率,因此死亡率(Z)也应以与单位质量的代谢率相同的方式进行规模缩放。
 
该理论进一步预测,由于新陈代谢是生物体内所有速率过程的基础,包括决定生长和繁殖的速率,因此死亡率(Z)也应以与单位质量的代谢率相同的方式进行规模缩放。
   −
<nowiki><math>Z \propto M^{-1/4}e^{-E/kT}</math></nowiki>
+
[math]Z \propto M^{-1/4}e^{-E/kT}[/math]
   −
因此,死亡率的规模法则方程与单位质量的代谢率方程形式上一致,也与生物体质量的 <nowiki><math>-1/4</math></nowiki> 次方成反比。
+
因此,死亡率的规模法则方程与单位质量的代谢率方程形式上一致,也与生物体质量的 [math]-1/4[/math] 次方成反比。
    
== 企业的死亡 ==
 
== 企业的死亡 ==
第637行: 第638行:  
'''死亡微分方程'''
 
'''死亡微分方程'''
   −
在一个非常小的离散时间间隔 <nowiki><math>\Delta t</math></nowiki> 内,死亡的公司数量 <nowiki><math>\Delta N_d(t,T)</math></nowiki> 与在时间 t 仍存活的公司数量 <nowiki><math>N(t,T)</math></nowiki> 成正比,比例系数为风险率 <nowiki><math>\lambda(t,T)</math></nowiki>:
+
在一个非常小的离散时间间隔 [math]\Delta t[/math] 内,死亡的公司数量 [math]\Delta N_d(t,T)[/math] 与在时间 t 仍存活的公司数量 [math]N(t,T)[/math] 成正比,比例系数为风险率 [math]\lambda(t,T)[/math]:
   −
<nowiki><math>\Delta N_{d}(t,T)=\lambda(t,T)N(t,T)\Delta t</math></nowiki>
+
[math]\Delta N_{d}(t,T)=\lambda(t,T)N(t,T)\Delta t[/math]
   −
当时间间隔趋近于零(<nowiki><math>\Delta t \to 0</math></nowiki>)时,这个方程可以写成微分形式:
+
当时间间隔趋近于零([math]\Delta t \to 0[/math])时,这个方程可以写成微分形式:
   −
<nowiki><math>\frac{\partial N(t,T)}{\partial t}=-\lambda(t,T)N(t,T)</math></nowiki>
+
[math]\frac{\partial N(t,T)}{\partial t}=-\lambda(t,T)N(t,T)[/math]
   −
其中 <nowiki><math>N(t,T)</math></nowiki> 是在观察时间窗口 T 内,在时间 t 仍存活的公司数量。
+
其中 [math]N(t,T)[/math] 是在观察时间窗口 T 内,在时间 t 仍存活的公司数量。
    
'''指数分布解'''
 
'''指数分布解'''
   −
当假设风险率 <nowiki><math>\lambda</math></nowiki> 是一个常数时,上述微分方程的解为经典的指数形式:
+
当假设风险率 [math]\lambda[/math] 是一个常数时,上述微分方程的解为经典的指数形式:
   −
<nowiki><math>N(t,T)=N(0,T)e^{-\lambda(T)t}</math></nowiki>
+
[math]N(t,T)=N(0,T)e^{-\lambda(T)t}[/math]
    
这个方程表明,一个公司存活到时间 t 的概率随着时间呈指数衰减。论文的实证分析表明,指数分布能很好地拟合数据。
 
这个方程表明,一个公司存活到时间 t 的概率随着时间呈指数衰减。论文的实证分析表明,指数分布能很好地拟合数据。
第659行: 第660行:  
由于数据是在一个有限的观察窗口 T 内获取的,为了解决边界条件问题(即在窗口结束时,所有公司都被视为死亡),论文引入了一个修正项,得到了一个修正的指数分布函数:
 
由于数据是在一个有限的观察窗口 T 内获取的,为了解决边界条件问题(即在窗口结束时,所有公司都被视为死亡),论文引入了一个修正项,得到了一个修正的指数分布函数:
   −
<nowiki><math>N(t,T)=N(0,T)e^{-\lambda t}[\frac{1-e^{-\lambda(T-t)}}{1-e^{-\lambda T}}]</math></nowiki>
+
<nowiki>[math]N(t,T)=N(0,T)e^{-\lambda t}[\frac{1-e^{-\lambda(T-t)}}{1-e^{-\lambda T}}][/math]</nowiki>
   −
当观察窗口 T 远大于公司年龄 t 时,这个方程可以近似为常规的指数公式。基于这个模型,论文计算了公司的半衰期(<nowiki><math>t_{1/2}</math></nowiki>),即一半的公司死亡所需的时间。通过求解 <nowiki><math>M(t_{1/2}) = 1/2</math></nowiki>,可以得到半衰期的公式:
+
当观察窗口 T 远大于公司年龄 t 时,这个方程可以近似为常规的指数公式。基于这个模型,论文计算了公司的半衰期([math]t_{1/2}[/math]),即一半的公司死亡所需的时间。通过求解 [math]M(t_{1/2}) = 1/2[/math],可以得到半衰期的公式:
   −
<nowiki><math>t_{1/2}(T)=\frac{ln~2}{\lambda}[1-\frac{ln(1+e^{-\lambda T})}{ln~2}]</math></nowiki>
+
[math]t_{1/2}(T)=\frac{ln~2}{\lambda}[1-\frac{ln(1+e^{-\lambda T})}{ln~2}][/math]
    
= 解释模型 =
 
= 解释模型 =
第706行: 第707行:     
# OpenAI的研究表明,语言模型在无监督训练中的困惑度(即交叉熵损失)随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定,并且模型的深度、宽度等架构超参数在大范围内对性能影响很小,只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系,并阐明过拟合出现的条件:如果单独增大模型或数据,收益会进入减益区;只有三要素(参数、数据、算力)同步按比例扩张才能保持高效提升。例如,模型规模每扩大8倍,需相应将数据量增加约5倍才能避免性能瓶颈。另外,训练曲线也呈现可预测的幂律形态,可通过初期走势推断更长训练的最终损失。一个重要结论是:在固定算力下,最优策略是训练较大模型但不必用尽海量数据,提前停止训练。大型模型的样本效率更高,用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算,宜选取尽可能大的模型并训练到尚未收敛即可。
 
# OpenAI的研究表明,语言模型在无监督训练中的困惑度(即交叉熵损失)随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定,并且模型的深度、宽度等架构超参数在大范围内对性能影响很小,只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系,并阐明过拟合出现的条件:如果单独增大模型或数据,收益会进入减益区;只有三要素(参数、数据、算力)同步按比例扩张才能保持高效提升。例如,模型规模每扩大8倍,需相应将数据量增加约5倍才能避免性能瓶颈。另外,训练曲线也呈现可预测的幂律形态,可通过初期走势推断更长训练的最终损失。一个重要结论是:在固定算力下,最优策略是训练较大模型但不必用尽海量数据,提前停止训练。大型模型的样本效率更高,用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算,宜选取尽可能大的模型并训练到尚未收敛即可。
−
# “Chinchilla”规模法则:Hoffmann等人发现当时许多大型模型严重训练不足,参数规模远超可用的数据规模。通过对70M~16B参数、5亿~5000亿token的400多个Transformer模型实验,他们提出了计算最优的规模配置:模型参数数量与训练语料长度应当同比例扩增。也就是说,在给定总算力预算下,模型大小和训练token数满足<nowiki><math>\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }</math></nowiki>,<nowiki><math>\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }</math></nowiki>。相比之下,Kaplan等原先的分析得到 <nowiki><math>\displaystyle{ N\propto C^{0.73} }</math></nowiki>、<nowiki><math>\displaystyle{ D\propto C^{0.27} }</math></nowiki>,高估了最优模型规模。据此,Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla(70亿参数,训练token约1.4万亿,是Gopher数据量的4倍)。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如,在MMLU基准上Chinchilla达到67.5%的平均准确率,比Gopher提高了7个百分点。这一成果证实:在固定算力下,与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源,可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则,许多2023年的新模型设计(如LLaMA等)都遵循了参数规模与语料规模平衡的策略。值得注意的是,当数据上限受制时(如领域数据有限),也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。
+
# <nowiki>“Chinchilla”规模法则:Hoffmann等人发现当时许多大型模型严重训练不足,参数规模远超可用的数据规模。通过对70M~16B参数、5亿~5000亿token的400多个Transformer模型实验,他们提出了计算最优的规模配置:模型参数数量与训练语料长度应当同比例扩增。也就是说,在给定总算力预算下,模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math],[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下,Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math],高估了最优模型规模。据此,Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla(70亿参数,训练token约1.4万亿,是Gopher数据量的4倍)。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如,在MMLU基准上Chinchilla达到67.5%的平均准确率,比Gopher提高了7个百分点。这一成果证实:在固定算力下,与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源,可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则,许多2023年的新模型设计(如LLaMA等)都遵循了参数规模与语料规模平衡的策略。值得注意的是,当数据上限受制时(如领域数据有限),也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。</nowiki>
    
=== 推理阶段的规模法则(Post-training & Inference-time Scaling) ===
 
=== 推理阶段的规模法则(Post-training & Inference-time Scaling) ===
第712行: 第713行:     
# 搜索推理:DeepMind的AlphaGo/AlphaZero等展示了测试时计算扩展的威力。AlphaGo的棋力(Elo等级分)随着其每步允许的蒙特卡洛树搜索(MCTS)模拟次数的增加而稳步提升。在AlphaGo Zero中,增加约2倍的搜索预算即可提高约120点Elo,相当于将模型参数和训练翻倍所带来的提升幅度。也就是说,在一定范围内,“2倍推理计算 ≈ 2倍模型规模”对最终性能的贡献是类似的。这体现了一种推理-训练可交换的缩放规律:通过增加部署时的搜索深度,可以在不增加模型复杂度的情况下获得类似效果的性能增益。进一步,在棋类或博弈中可以发现训练与推理的此类折中关系:例如在Hex棋游戏中,增加10倍训练计算量大致相当于增加15倍推理搜索量;在扑克AI Libratus、外交游戏AI Cicero等复杂不完美信息博弈中,加入大规模对局搜索同样显著提高了胜率,其效果与成百上千倍的额外训练相仿。这些案例说明,在博弈决策领域存在明确的推理计算缩放定律:持续增大推理搜索计算呈现对数线性的收益递增,但性价比逐渐下降。
 
# 搜索推理:DeepMind的AlphaGo/AlphaZero等展示了测试时计算扩展的威力。AlphaGo的棋力(Elo等级分)随着其每步允许的蒙特卡洛树搜索(MCTS)模拟次数的增加而稳步提升。在AlphaGo Zero中,增加约2倍的搜索预算即可提高约120点Elo,相当于将模型参数和训练翻倍所带来的提升幅度。也就是说,在一定范围内,“2倍推理计算 ≈ 2倍模型规模”对最终性能的贡献是类似的。这体现了一种推理-训练可交换的缩放规律:通过增加部署时的搜索深度,可以在不增加模型复杂度的情况下获得类似效果的性能增益。进一步,在棋类或博弈中可以发现训练与推理的此类折中关系:例如在Hex棋游戏中,增加10倍训练计算量大致相当于增加15倍推理搜索量;在扑克AI Libratus、外交游戏AI Cicero等复杂不完美信息博弈中,加入大规模对局搜索同样显著提高了胜率,其效果与成百上千倍的额外训练相仿。这些案例说明,在博弈决策领域存在明确的推理计算缩放定律:持续增大推理搜索计算呈现对数线性的收益递增,但性价比逐渐下降。
−
# 生成式模型(代码合成与问题求解):大语言模型在推理阶段通过多样采样、程序搜索等也展现幂律提升。DeepMind的AlphaCode在算法编程挑战中引入了候选生成+测试的扩展推理策略,结果模型随生成候选程序数量(即推理搜索时间)的增加,解决问题的成功率近似呈对数线性上升。换言之,给定一个固定规模的模型,让它尝试越多方案,其性能提升遵循平滑的幂律趋势。类似地,OpenAI的代码生成模型Codex和后续的GPT-4等,在增加采样次数、增加思考步骤(如Chain-of-Thought连贯推理)时,问题解答准确率持续提高。2024年OpenAI发布的o1报告也总结,大模型在数学推理、科学问答、代码调试等场景中,无论通过扩展训练 compute 还是推理 compute,性能都会一致地提升,并给出了多个推理扩展提升性能的例证。总的来说,在推理/部署阶段扩充计算(如更长的推理链、更大的搜索广度或更多函数调用)是一条独立于模型参数的提升途径。这被形式化为推理规模定律:模型性能 <nowiki><math>\displaystyle{ f }</math></nowiki> 随推理计算量 <nowiki><math>\displaystyle{ C_{test} }</math></nowiki> 增加而改进,并往往呈现出次幂指数递减的曲线,即开始阶段收益显著,逐步趋于饱和。实际意义是,在应用中可以通过增加推理计算来换取性能(如用思维链、多轮推理弥补模型规模不足),二者存在可预测的折中关系。
+
# 生成式模型(代码合成与问题求解):大语言模型在推理阶段通过多样采样、程序搜索等也展现幂律提升。DeepMind的AlphaCode在算法编程挑战中引入了候选生成+测试的扩展推理策略,结果模型随生成候选程序数量(即推理搜索时间)的增加,解决问题的成功率近似呈对数线性上升。换言之,给定一个固定规模的模型,让它尝试越多方案,其性能提升遵循平滑的幂律趋势。类似地,OpenAI的代码生成模型Codex和后续的GPT-4等,在增加采样次数、增加思考步骤(如Chain-of-Thought连贯推理)时,问题解答准确率持续提高。2024年OpenAI发布的o1报告也总结,大模型在数学推理、科学问答、代码调试等场景中,无论通过扩展训练 compute 还是推理 compute,性能都会一致地提升,并给出了多个推理扩展提升性能的例证。总的来说,在推理/部署阶段扩充计算(如更长的推理链、更大的搜索广度或更多函数调用)是一条独立于模型参数的提升途径。这被形式化为推理规模定律:模型性能 [math]\displaystyle{ f }[/math] 随推理计算量 [math]\displaystyle{ C_{test} }[/math] 增加而改进,并往往呈现出次幂指数递减的曲线,即开始阶段收益显著,逐步趋于饱和。实际意义是,在应用中可以通过增加推理计算来换取性能(如用思维链、多轮推理弥补模型规模不足),二者存在可预测的折中关系。
    
=== 断裂式规模法则(Broken Neural Scaling Laws, ''BNSL'') ===
 
=== 断裂式规模法则(Broken Neural Scaling Laws, ''BNSL'') ===
−
Caballero等人提出“平滑断裂的幂律”(smoothly broken power law)来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降,但大量实证发现,性能提升常随规模出现阶段性拐点,在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象:<nowiki><math>\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }</math></nowiki> 其中 <nowiki><math>\displaystyle{ x }</math></nowiki> 是规模因子(如参数N、数据D或计算量C),<nowiki><math>\displaystyle{ y }</math></nowiki> 是对应的性能指标(如预测误差或奖励)。这一公式由若干段幂律曲线通过光滑的过渡相连:在远"断点" <nowiki><math>\displaystyle{ d_i }</math></nowiki> 的区域,<nowiki><math>\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }</math></nowiki>,第 <nowiki><math>\displaystyle{ i }</math></nowiki> 段项近似为1,不影响整体指数;当 <nowiki><math>\displaystyle{ x }</math></nowiki> 接近或超过某个 <nowiki><math>\displaystyle{ d_i }</math></nowiki> 时,该项逐渐发挥作用,将总体幂指数从 <nowiki><math>\displaystyle{ c_0 }</math></nowiki> 平滑地改变为 <nowiki><math>\displaystyle{ c_0+c_i }</math></nowiki>。在对数-对数坐标系中,这表现为折线般的多段斜率,用"break"(断点)标志幂律指数的改变。因此相较单一幂律模型,BNSL能拟合"分段直线+过渡弧"的性能曲线。
+
Caballero等人提出“平滑断裂的幂律”(smoothly broken power law)来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降,但大量实证发现,性能提升常随规模出现阶段性拐点,在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象:[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子(如参数N、数据D或计算量C),[math]\displaystyle{ y }[/math] 是对应的性能指标(如预测误差或奖励)。这一公式由若干段幂律曲线通过光滑的过渡相连:在远"断点" [math]\displaystyle{ d_i }[/math] 的区域,[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math],第 [math]\displaystyle{ i }[/math] 段项近似为1,不影响整体指数;当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时,该项逐渐发挥作用,将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中,这表现为折线般的多段斜率,用"break"(断点)标志幂律指数的改变。因此相较单一幂律模型,BNSL能拟合"分段直线+过渡弧"的性能曲线。
    
实验上,他们发现广泛的场景都符合这一断裂式规律,包括:大规模视觉模型、语言模型、音频和视频模型,扩散生成模型,多模态融合模型,对比学习模型,迁移学习,强化学习(单智能体和多智能体)、出圈泛化(OOD)、不确定度校准、提示范式(zero-shot/prompt)下的性能,甚至AI对齐和能力涌现等现象。例如,有些任务在小模型阶段提升很快(陡峭幂律),但达到中等规模后提升速率显著下降(幂指数变小),再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画,每个线段对应不同的机制或瓶颈主导阶段。总的来说,断裂式规模法则揭示了非单调的扩展效益:性能随规模增长并非始终遵循同一速率,而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果,需要考虑潜在的拐点和段内规律。
 
实验上,他们发现广泛的场景都符合这一断裂式规律,包括:大规模视觉模型、语言模型、音频和视频模型,扩散生成模型,多模态融合模型,对比学习模型,迁移学习,强化学习(单智能体和多智能体)、出圈泛化(OOD)、不确定度校准、提示范式(zero-shot/prompt)下的性能,甚至AI对齐和能力涌现等现象。例如,有些任务在小模型阶段提升很快(陡峭幂律),但达到中等规模后提升速率显著下降(幂指数变小),再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画,每个线段对应不同的机制或瓶颈主导阶段。总的来说,断裂式规模法则揭示了非单调的扩展效益:性能随规模增长并非始终遵循同一速率,而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果,需要考虑潜在的拐点和段内规律。
第724行: 第725行:  
Hernandez等人研究了无监督预训练模型在新分布上的迁移缩放规律。他们比较了两种情形:(a)从头在目标数据集上训练不同大小的模型,(b)先用海量通用语料预训练模型,再微调相同的数据。结果发现,大模型在固定的小数据集上从头训练会很快进入数据饱和,损失不再显著下降;而经过预训练的模型微调时,虽然数据有限但性能提升的斜率仅是减小而非归零。也就是说,预训练赋予模型一定的通用能力,使其在低数据下仍能持续改进。为量化预训练贡献,Hernandez等人定义了“等效转移数据”指标:即观测微调后某模型达到的损失,假设没有预训练、仅靠该模型从零训练,需要多少目标数据才能达到同样损失。他们发现,在低数据微调(目标数据不到满足无限数据性能的10%)的情况下,这个等效数据量与模型参数数和微调数据量呈幂律关系:
 
Hernandez等人研究了无监督预训练模型在新分布上的迁移缩放规律。他们比较了两种情形:(a)从头在目标数据集上训练不同大小的模型,(b)先用海量通用语料预训练模型,再微调相同的数据。结果发现,大模型在固定的小数据集上从头训练会很快进入数据饱和,损失不再显著下降;而经过预训练的模型微调时,虽然数据有限但性能提升的斜率仅是减小而非归零。也就是说,预训练赋予模型一定的通用能力,使其在低数据下仍能持续改进。为量化预训练贡献,Hernandez等人定义了“等效转移数据”指标:即观测微调后某模型达到的损失,假设没有预训练、仅靠该模型从零训练,需要多少目标数据才能达到同样损失。他们发现,在低数据微调(目标数据不到满足无限数据性能的10%)的情况下,这个等效数据量与模型参数数和微调数据量呈幂律关系:
   −
<nowiki><math>\displaystyle{ D_{\text{effective}} \approx K \times N^{\alpha} D_{\text{finetune}}^{\beta} }</math></nowiki>
+
<nowiki>[math]\displaystyle{ D_{\text{effective}} \approx K \times N^{\alpha} D_{\text{finetune}}^{\beta} }[/math]</nowiki>
   −
其中 <nowiki><math>\displaystyle{ N }</math></nowiki> 为预训练模型参数,<nowiki><math>\displaystyle{ D_{\text{finetune}} }</math></nowiki>为微调数据量,<nowiki><math>\displaystyle{ \alpha,\beta }</math></nowiki>为对应的幂指数。<nowiki><math>\displaystyle{ \alpha }</math></nowiki>可理解为模型的一般性指标,<nowiki><math>\displaystyle{ \beta }</math></nowiki>反映目标分布相对预训练分布的距离。实证结果显示:预训练相当于将微调数据量放大了一个倍数(例如对40M参数的Transformer在Python代码上的微调,3e5字符相当于从头训练需要3e8字符,即预训练起到了1000倍数据的效果)。这种转移增益随着微调数据的减少而变得更加显著:数据越少,预训练带来的等效数据放大倍数越大。结论是,下游任务的性能可以用参数、微调数据和算力三要素的幂律来预测,和总体性能的缩放类似。这解释了为何更大的预训练模型在小数据任务上表现更佳——它们相当于提供了更多"虚拟样本"。这一规律也指导实践:面对数据稀缺任务,使用更大的预训练模型往往比增加数据更有效;反之,若下游数据充足,小模型通过更多数据也可弥补一部分差距。此外,Gordon等人研究发现在机器翻译等场景也验证了类似的参数-数据缩放律,并探讨了模型初始规模与微调效果的关系,如模型越大,微调曲线越陡峭、上限越高。
+
<nowiki>其中 [math]\displaystyle{ N }[/math] 为预训练模型参数,[math]\displaystyle{ D_{\text{finetune}} }[/math]为微调数据量,[math]\displaystyle{ \alpha,\beta }[/math]为对应的幂指数。[math]\displaystyle{ \alpha }[/math]可理解为模型的一般性指标,[math]\displaystyle{ \beta }[/math]反映目标分布相对预训练分布的距离。实证结果显示:预训练相当于将微调数据量放大了一个倍数(例如对40M参数的Transformer在Python代码上的微调,3e5字符相当于从头训练需要3e8字符,即预训练起到了1000倍数据的效果)。这种转移增益随着微调数据的减少而变得更加显著:数据越少,预训练带来的等效数据放大倍数越大。结论是,下游任务的性能可以用参数、微调数据和算力三要素的幂律来预测,和总体性能的缩放类似。这解释了为何更大的预训练模型在小数据任务上表现更佳——它们相当于提供了更多"虚拟样本"。这一规律也指导实践:面对数据稀缺任务,使用更大的预训练模型往往比增加数据更有效;反之,若下游数据充足,小模型通过更多数据也可弥补一部分差距。此外,Gordon等人研究发现在机器翻译等场景也验证了类似的参数-数据缩放律,并探讨了模型初始规模与微调效果的关系,如模型越大,微调曲线越陡峭、上限越高。</nowiki>
    
=== 记忆事实的规模法则(Fact-memorization Scaling Laws) ===
 
=== 记忆事实的规模法则(Fact-memorization Scaling Laws) ===
第741行: 第742行:  
=== 其他方向的规模规律 ===
 
=== 其他方向的规模规律 ===
   −
# 低精度训练的缩放规律:Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型,分别使用不同位宽(如FP32、FP16、Int8等)来表示权重、激活和KV缓存,并测量精度变化对损失的影响 。结果表明,可以通过引入"有效参数数量"的概念,将数值精度的影响纳入规模定律的框架中。具体做法是定义 <nowiki><math>\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }</math></nowiki>,其中 <nowiki><math>\displaystyle{ N }</math></nowiki> 为实际参数数,<nowiki><math>\displaystyle{ P }</math></nowiki>为有效精度位数,<nowiki><math>\displaystyle{ \gamma }</math></nowiki>是拟合常数。这个公式表示,用低 <nowiki><math>\displaystyle{ P }</math></nowiki> 位精度训练时,模型的有效参数量低于实际参数——好似只有 <nowiki><math>\displaystyle{ N_{\text{eff}} }</math></nowiki> 个高精度参数在发挥作用。随着精度 <nowiki><math>\displaystyle{ P }</math></nowiki> 增加,<nowiki><math>\displaystyle{ N_{\text{eff}} }</math></nowiki> 按指数逼近 <nowiki><math>\displaystyle{ N }</math></nowiki>(精度无限高时恢复全性能)。该规律揭示:降低训练精度会以指数速度损耗模型容量,每减少一位精度,模型可表达的信息量并非线性降低,而是按 <nowiki><math>\displaystyle{ e^{-1/\gamma} }</math></nowiki> 比例缩水。实验中,低精度训练的模型相当于有效参数变少,因此最终损失变高。例如,用FP16训练可能相当于只有~90%的参数在发挥作用;用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践:在接受些微性能损失的情况下,可用低精度来换取内存和算力优势,同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度:他们发现,如果在高精度下完成训练,再用极低精度推理,模型在过度训练(远超收敛)的情况下对推理精度降低更具鲁莽性。总之,精度缩放规律将模型容量视为精度的函数,表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现,其关系遵循可预测的指数规律。
+
# <nowiki>低精度训练的缩放规律:Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型,分别使用不同位宽(如FP32、FP16、Int8等)来表示权重、激活和KV缓存,并测量精度变化对损失的影响 。结果表明,可以通过引入"有效参数数量"的概念,将数值精度的影响纳入规模定律的框架中。具体做法是定义 [math]\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }[/math],其中 [math]\displaystyle{ N }[/math] 为实际参数数,[math]\displaystyle{ P }[/math]为有效精度位数,[math]\displaystyle{ \gamma }[/math]是拟合常数。这个公式表示,用低 [math]\displaystyle{ P }[/math] 位精度训练时,模型的有效参数量低于实际参数——好似只有 [math]\displaystyle{ N_{\text{eff}} }[/math] 个高精度参数在发挥作用。随着精度 [math]\displaystyle{ P }[/math] 增加,[math]\displaystyle{ N_{\text{eff}} }[/math] 按指数逼近 [math]\displaystyle{ N }[/math](精度无限高时恢复全性能)。该规律揭示:降低训练精度会以指数速度损耗模型容量,每减少一位精度,模型可表达的信息量并非线性降低,而是按 [math]\displaystyle{ e^{-1/\gamma} }[/math] 比例缩水。实验中,低精度训练的模型相当于有效参数变少,因此最终损失变高。例如,用FP16训练可能相当于只有~90%的参数在发挥作用;用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践:在接受些微性能损失的情况下,可用低精度来换取内存和算力优势,同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度:他们发现,如果在高精度下完成训练,再用极低精度推理,模型在过度训练(远超收敛)的情况下对推理精度降低更具鲁莽性。总之,精度缩放规律将模型容量视为精度的函数,表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现,其关系遵循可预测的指数规律。</nowiki>
−
# 多模态任务的规模规律:越来越多证据表明,多模态模型(同时处理文本、图像、音频等的模型)也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设,并通过实验验证:这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型,其缩放行为与纯文本LLM相似。具体而言,在给定算力下,多模态模型的验证集损失同样随总计算量 <nowiki><math>\displaystyle{ C }</math></nowiki> 近似按幂律降低;而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力,这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响,比如图像数据可能使最优参数-数据比发生轻微偏移,但总体趋势不变。他们的实验还比较了多模态融合的不同架构,发现无论是早期融合(直接将视觉token和文本token一起喂入Transformer)还是晚期融合(分别编码后再合并),当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动,与单模态情况遵循同类规律,而不是取决于特定融合策略。此外,在计算机视觉领域,Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明:图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出:ImageNet上的最低错误率 <nowiki><math>\displaystyle{ L_{\min} }</math></nowiki> 可用公式 <nowiki><math>\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }</math></nowiki> 拟合(其中 <nowiki><math>\displaystyle{ C }</math></nowiki> 是以TPU天为单位的计算量),显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似(只是指数和常数不同)。再如OpenAI的CLIP模型在跨模态对比学习中,其图文匹配精度也随着模型和数据扩大而提升,且当数据足够多时,小模型与大模型的差距减小,符合典型的缩放曲线。总的来说,无论是语言、视觉,还是多模态联合任务,规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异,但"更大更好,且收益递减"是通用趋势。值得一提的是,一些最新研究开始探索打破常规幂的方法,例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果,从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益,看是否改变了幂律指数或者扩展了线性段长度。总体而言,多模态和特殊训练策略并未推翻规模法则,反而延展了其适用范围和内涵:规模仍然是驱动AI性能的核心因素之一,其影响可以被刻画和预测,只是在不同情境下呈现出丰富的阶段性和细微差异。
+
# <nowiki>多模态任务的规模规律:越来越多证据表明,多模态模型(同时处理文本、图像、音频等的模型)也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设,并通过实验验证:这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型,其缩放行为与纯文本LLM相似。具体而言,在给定算力下,多模态模型的验证集损失同样随总计算量 [math]\displaystyle{ C }[/math] 近似按幂律降低;而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力,这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响,比如图像数据可能使最优参数-数据比发生轻微偏移,但总体趋势不变。他们的实验还比较了多模态融合的不同架构,发现无论是早期融合(直接将视觉token和文本token一起喂入Transformer)还是晚期融合(分别编码后再合并),当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动,与单模态情况遵循同类规律,而不是取决于特定融合策略。此外,在计算机视觉领域,Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明:图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出:ImageNet上的最低错误率 [math]\displaystyle{ L_{\min} }[/math] 可用公式 [math]\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }[/math] 拟合(其中 [math]\displaystyle{ C }[/math] 是以TPU天为单位的计算量),显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似(只是指数和常数不同)。再如OpenAI的CLIP模型在跨模态对比学习中,其图文匹配精度也随着模型和数据扩大而提升,且当数据足够多时,小模型与大模型的差距减小,符合典型的缩放曲线。总的来说,无论是语言、视觉,还是多模态联合任务,规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异,但"更大更好,且收益递减"是通用趋势。值得一提的是,一些最新研究开始探索打破常规幂的方法,例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果,从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益,看是否改变了幂律指数或者扩展了线性段长度。总体而言,多模态和特殊训练策略并未推翻规模法则,反而延展了其适用范围和内涵:规模仍然是驱动AI性能的核心因素之一,其影响可以被刻画和预测,只是在不同情境下呈现出丰富的阶段性和细微差异。</nowiki>
    
= 参考文献 =
 
= 参考文献 =
453

个编辑