规模法则

介绍

规模法则（Scaling Laws）是指描述复杂系统中各种可测量特性如何随系统规模变化而系统性地、可预测地变化的数学关系。这些法则通常表现为幂律形式，揭示了从生命体到城市、公司乃至人工智能等不同尺度系统在结构、功能和动态行为上所遵循的普遍性规律。规模法则的研究不仅有助于我们理解万物生长的逻辑，更对预测系统行为、优化设计、评估可持续性以及探索新兴科技（如大型语言模型）的演化具有深远意义。

规模分析简史

规模分析（Scaling Analysis）是一种通过比较不同物理量随尺度变化规律来揭示自然界普遍规律的方法。它不仅在物理学和工程学中奠定了基础，也成为理解生物学、社会学和复杂系统的重要工具。

伽利略的规模缩放理论

伽利略（Galileo Galilei）在《两种新科学的对话》中首次系统性提出了规模约束的思想：如果一个物体按照几何比例放大，其力学性质不会简单按比例扩展。

面积与体积的变化关系

假设一个立方体边长为 [math]L[/math]：面积 [math]A \propto L^2[/math]，体积 [math]V \propto L^3[/math]，因此，当边长增大一倍时：面积只增加 [math]2^2 = 4[/math] 倍，体积却增加 [math]2^3 = 8[/math] 倍

强度与重量的矛盾

支撑物体的强度 [math]S \propto A \propto L^2[/math]，物体重量 [math]W \propto V \propto L^3[/math]。由此得出比例：[math]\displaystyle \frac{S}{W} \propto \frac{L^2}{L^3} = \frac{1}{L}[/math]

非线性幂律关系

伽利略的发现自然规律常常遵循幂律（power law）而非线性比例。

幂律的一般形式

[math]\displaystyle y = k x^\alpha[/math]。其中：[math]\alpha[/math] 为指数，决定了非线性关系，若 [math]\alpha = 1[/math]，是线性关系；若 [math]\alpha \neq 1[/math]，则为幂律关系。

数量级，对数

数量级与对数表示

在规模分析的框架下，数量级和对数刻度是两个极为重要的概念。数量级（order of magnitude）指的是一个数值以 10 为底的幂次表示方式，用于描述跨越巨大尺度的变化。例如，[math]\displaystyle 10^1, 10^2, 10^3, \dots[/math]分别代表十、百、千这样成倍扩展的规模。对数刻度则能将这种指数关系转化为线性关系：[math]\displaystyle \log y = \alpha \log x + \log k[/math]

应用实例：

地震的里氏震级：地震波幅度每增加 1 个数量级，释放能量增加约 [math]10^{1.5} \approx 31.6[/math] 倍。

药物剂量：动物与人体之间剂量并非线性缩放，而是依赖代谢率等幂律规律。大象LSD实验的失败就是线性思维的错误案例。

大东方号：船舶载重量 [math]\propto L^3[/math]，而阻力 [math]\propto L^2[/math]，所以越大的船运输效率越高，这体现了规模经济。

无量纲尺度和尺度不变量

在科学建模中，无量纲量（dimensionless numbers）起核心作用，它们揭示了不同系统在本质上的相似性。

无量纲数的例子

圆周率 [math]\pi = C/D[/math]（圆周与直径之比），与大小无关

弗劳德数：[math]\displaystyle Fr = \frac{v}{\sqrt{gL}}[/math]它表征了惯性力与重力的比值，决定了船只或波浪的相似性

尺度不变性

所有物理定律必须表述为无量纲数的关系：[math]\displaystyle f(\Pi_1, \Pi_2, \dots, \Pi_n) = 0[/math]

应用案例

瑞利散射：散射强度 [math]I \propto \frac{1}{\lambda^4}[/math]，解释了天空为何是蓝色

规模分析

规模分析（Scaling Analysis）的思想可以追溯到十六至十七世纪的伽利略。伽利略指出，随着体型的增大，动物的四肢会变得更短更粗，骨骼也会更加沉重。推论背后的逻辑是：体重随着体长的立方增长，而骨骼强度仅随着横截面积的平方增长。二者的不同比例导致大型生物无法无限长大。

十八世纪，医生勒萨运用类似的方法解释了为什么昆虫和小型动物会长有厚实坚硬的外壳。他认为，动物的水分和养料消耗速度取决于表面积与体重的比值。由于体重的增长速度快于表面积，当动物变小时，其表面积相对更大，水分更容易散失，于是它们必须通过进化出厚皮来适应环境。这一推理正是规模分析在生物学中的早期应用。

十九世纪，数学家傅里叶进一步提出了量纲分析的思想。他指出，物理定律的形式不应因度量单位的不同而改变。无论用米还是厘米、用千克还是克来表示质量，牛顿第二定律 [math]F=ma[/math] 都应保持相同形式。换句话说，物理公式在量纲变化下保持不变，本质上就是要求它们在规模缩放下保持不变。

进入二十世纪，生物学家达西·汤普森在《生长与形态》中大量运用规模分析方法，总结了生物几何形态随尺度变化的规律。而化学家克莱伯在研究哺乳动物代谢率与体重的关系时发现，其幂律指数并不是传统分析预测的 [math]2/3[/math]，而是 [math]3/4[/math]，这就是著名的克莱伯定律。这一发现首次将规模法则拓展到复杂的生命系统，揭示了代谢背后的分形网络特征。此后，“异速律”一词被提出，人们逐渐形成了对生物体规模法则的系统认识。

二十世纪后期，曼德尔布罗的发展使分形几何广为人知。分形结构在不同尺度下保持相似性，其周长、面积等几何量常常服从幂律。这一思想与规模分析紧密相关。与此同时，幂律分布在自然与社会中被广泛发现：从财富分配、城市规模，到互联网点击量、地震震级，都呈现“少数极大、多数极小”的厚尾特征。

进入二十一世纪，杰弗里·韦斯特等人提出了 WBE 模型，用分形输运网络解释克莱伯定律，并进一步将规模分析方法扩展到城市与公司等社会系统。他们发现，城市中的基础设施往往遵循亚线性规律（指数小于 1），而创新和经济活动则遵循超线性规律（指数大于 1），这意味着大城市发展速度会系统性地快于小城市。类似的规律后来在互联网社区和公司增长中也被发现。

规模法则基本介绍

生物、城市和公司，这三类看似截然不同的复杂系统，却都展现出一种共通的普适性规律——规模法则（Scaling Laws）。它描述了一个系统的某个关键属性（如新陈代谢、经济产出或利润）如何随着其规模（如体重、人口或资产）的变化而按幂律关系缩放。换言之，当系统规模扩大时，其各个组成部分并非按比例等速增长，而是以特定的非线性方式进行调整。

接下来，我们将分生物、城市和公司三个领域详细介绍规模法则的具体表现及规律。

生物的规模法则

生物领域中最著名的定律之一就是克莱伯定律，它描述了生物体的新陈代谢率如何与体重按幂律关系缩放，被誉为"生物学的开普勒定律"。围绕克莱伯定律的发现和解释，科学家进行了长期研究。

鲁布纳猜想

鲁布纳猜想是生物规模效应研究的起点。19世纪末，德国生理学家马克斯·鲁布纳（Max Rubner）基于热量交换的考量，猜想动物代谢率与其体表面积成正比。根据几何相似原理，体表面积通常与体积的 2/3 次方成正比，而体积又近似与质量成正比。因此，鲁布纳预言代谢率 [math]F[/math] 和体重 [math]M[/math] 满足如下关系：

[math]\displaystyle{ F \propto M^{2/3} }[/math]

(1)

这意味着如果某动物的体重增加一倍，其代谢总需求将增加约 [math]22/3 \approx 1.59 [/math] 倍，而非成比例翻倍。鲁布纳通过对狗等少数动物的实验测量初步验证了这一关系，并于1902年正式提出，一度成为生理学教条。然而，后来研究指出其样本量小、实验条件不严谨等局限性。

克莱伯定律（Kleiber's Law）

真正的突破来自瑞士科学家马克斯·克莱伯。1932年，克莱伯在分析了大量跨物种的数据后，发表了一篇重要论文。他将各种哺乳动物的体重作为横坐标，并通过它们在单位时间内呼出的二氧化碳，分别测量出它们的新陈代谢率作为纵坐标。结果显示，生物代谢率与体重的幂律关系并非鲁布纳所认为的 2/3，而是接近 3/4。这一发现标志着克莱伯定律的诞生。

代谢、体重的3/4幂律

克莱伯定律的核心是 3/4 幂律，它实质上是对鲁布纳 2/3 幂律的修正和拓展。在更广泛的物种范围和更精确的数据支持下，克莱伯确定了生物静息代谢率 B 与体重 M 之间的关系：

[math]\displaystyle{ B \propto M^{3/4} }[/math]

(1)

这一定律表明，生物体规模每扩大一倍，代谢总量仅增加约 [math]23/4 \approx 1.68 [/math] 倍。与之相对应，单位质量的代谢速率随着生物体增大而降低。例如，大象每公斤组织消耗的能量远低于老鼠每公斤组织的能量消耗。这解释了为什么大型动物会比小型动物更“节能”。

West等人在2002年的研究对克莱伯 3/4 幂律进行了扩展，涵盖的量级范围超过了 27 个数量级，从个体（蓝色圆圈）到未偶联的哺乳动物细胞、线粒体和呼吸复合体中的末端氧化酶分子（细胞色素 c 氧化酶，CcO）（红色圆圈）。图中还显示了单细胞生物的数据（绿色圆圈）。在最小的哺乳动物（鼩鼱）以下的区域，根据预测，新陈代谢率与体重的关系将线性外推至体外的单个细胞，如虚线所示。在细胞和细胞内部的水平上，3/4 幂律再次出现。

克莱伯定律的发现最初让生物学家们困惑不已，因为它偏离了简单的几何比例。然而，现代的 WBE模型（West-Brown-Enquist 模型）等研究认为，生物体内如血管系统、呼吸道等分形网络结构经过优化，以实现能量传输效率的最大化，从而产生了 3/4 的幂指数，而非欧氏几何的 2/3。

城市的规模法则

在城市科学和城市规划中，同样存在引人注目的规模法则现象。与生物不同的是，城市中的许多社会经济指标随规模呈现"超线性"增长，即幂指数 [math]\beta > 1[/math]。这意味着大城市不仅绝对产出更多财富和创新成果，而且相对而言更高效。

GDP、创新、科技的超线性幂律

研究表明，城市的经济产出（如 GDP）和创新活动（如专利申请数）与城市人口 N 之间存在超线性幂律关系。

GDP

[math]\displaystyle{ Y \propto N^\beta \quad (\text{其中 } \beta \gt 1) }[/math]

(3)

GDP之于城市规模的缩放指数

指标	β	95% CI	Adj-R²	观察值	国家 - 年份
GDP	1.15	[1.06,1.23]	0.96	295	中国 2002
GDP	1.26	[1.09,1.46]	0.64	196	欧盟 1999-2003
GDP	1.13	[1.03,1.23]	0.94	37	德国 2003

CI，置信区间；Adj-R²，调整R²；GDP，国内生产总值。

Bettencourt等人的研究发现，GDP（国内生产总值）是超线性增长的，其规模指数 β 在 1.06 到 1.26 之间。具体数据显示：

• 中国：2002 年的 GDP 指数 β=1.15。
• 欧盟：1999-2003 年的 GDP 指数 β=1.26。
• 德国：2003 年的 GDP 指数 β=1.13。

除了 GDP 之外，城市中的其他指标显示出了超线性、线性、亚线性三种增长特征：

• 超线性 (β>1)：这类指标反映了城市独特的社会特征，表明知识溢出推动了增长。随着城市规模的扩大，人均产出增加。
  • 创新和财富创造：新专利 (β=1.27)、发明家数量 (β=1.25)、私营研发就业 (β=1.34)、“超创意”就业 (β=1.15)、研发机构 (β=1.19) 和研发就业 (β=1.26) 等指标均呈超线性增长。
  • 社会财富：总工资 (β=1.12) 和银行总存款 (β=1.08) 也呈超线性增长。
  • 负面社会影响：新增艾滋病病例 (β=1.23) 和严重犯罪 (β=1.16) 等指标同样呈超线性增长，表明这些负面影响随着城市规模的扩大而加剧。

城市指标之于城市规模的缩放指数（超线性）

指标	β	95% CI	Adj-R²	观察值	国家 - 年份
新专利	1.27	[1.25,1.29]	0.72	331	美国 2001
发明家	1.25	[1.22,1.27]	0.76	331	美国 2001
私营研发就业	1.34	[1.29,1.39]	0.92	266	美国 2002
"超创意"就业	1.15	[1.11,1.18]	0.89	287	美国 2003
研发机构	1.19	[1.14,1.22]	0.77	287	美国 1997
研发就业	1.26	[1.18,1.43]	0.93	295	中国 2002
总工资	1.12	[1.09,1.13]	0.96	361	美国 2002
银行总存款	1.08	[1.03,1.11]	0.91	267	美国 1996

• 线性 (β≈1)：这类指标通常与满足个人需求相关，其增长率与人口增长率成正比，即人均指标保持不变。
  • 个人需求：例如住房总量 (β=1.00) 和总就业量 (β=1.01)。
  • 家庭消费：德国家庭用电量 (β=1.00)、中国家庭用电量 (β=1.05) 和中国家庭用水量 (β=1.01) 也大致呈线性增长。

城市指标之于城市规模的缩放指数（线性）

指标	β	95% CI	Adj-R²	观察值	国家 - 年份
总住房	1	[0.99,1.01]	0.99	316	美国 1990
总就业	1.01	[0.99,1.02]	0.98	331	美国 2001
家庭电力消耗	1	[0.94,1.06]	0.88	377	德国 2002
家庭电力消耗	1.05	[0.89,1.22]	0.91	295	中国 2002
家庭用水消耗	1.01	[0.89,1.11]	0.96	295	中国 2002

• 亚线性 (β<1)：这类指标代表基础设施，其特点是随着城市规模的扩大，效率会提高，即人均需求会减少。
  • 基础设施：加油站 (β=0.77)、汽油销量 (β=0.79)、电缆长度 (β=0.87) 和道路面积 (β=0.83) 等指标均呈亚线性增长。这表明，较大的城市在基础设施方面实现了规模经济。

城市指标之于城市规模的缩放指数（亚线性）

指标	β	95% CI	Adj-R²	观察值	国家 - 年份
加油站	0.77	[0.74,0.81]	0.93	318	美国 2001
汽油销售	0.79	[0.73,0.80]	0.94	318	美国 2001
电缆长度	0.87	[0.82,0.92]	0.75	380	美国 2001
道路面积	0.83	[0.74,0.92]	0.87	29	德国 2002

在中国和美国的城市中，GDP 与人口数 N 的幂指数 [math]\beta[/math] 约为 1.15。这一关系意味着，当城市人口增加一倍，GDP 增长约 [math]2^{1.15} \approx 2.22 [/math] 倍，人均 GDP 也会随之提升。这反映了城市中的网络效应和聚集效应——人口规模增长带来更频繁的人际交互和知识溢出，使得整体产出以超过线性的速度提高。

创新发明

Bettencourt等人在2007年的研究指出，城市人口规模（N）与发明活动（以专利数量 Y 衡量）之间的关系，发现两者同样遵循超线性幂律关系，其公式为：

[math]\displaystyle{ Y=cN\beta }[/math]

(4)

研究的核心发现是，幂律指数 [math]\beta > 1[/math]，具体数值约为 1.27。这个超线性关系表明，随着城市人口规模的增加，人均发明产出也随之提高，体现了发明活动的规模报酬递增效应。

社会连接度

Andris和Bettencourt于2014年采用了规模法则来描述城市连接度与其人口规模之间的关系。这个关系可以用一个幂律函数来表示：

[math]\displaystyle{ C=C_0N^b }[/math]

(5)

其中：

• [math]C[/math] 代表城市的连接度（connectivity），在这项研究中具体指一个地区的总电话呼叫量（包括呼出和呼入）。
• [math]N[/math] 代表该地区的人口规模（population size）。
• [math]C_0[/math] 是一个归一化常数。
• [math]b[/math] 是规模指数或幂指数（scaling exponent），它衡量了人均社会连接度随城市人口规模变化的程度。

图A显示了各行政区呼出电话量与人口规模的关系 (Calls Placed per Prefecture by Population Size) ，图B显示了各行政区呼入电话量与人口规模的关系 (Calls Received per Prefecture by Population Size) 。图中的每一个蓝点代表科特迪瓦的一个行政区。这些数据点在人口的对数-呼出/呼入电话总量的对数坐标系下呈现出明显的线性上升趋势，证明了呼出/呼入电话量与人口规模之间存在幂律关系。

幂指数b的具体数值：

• 总体连接度指数：研究发现，b=1.26（95%置信区间为 [1.19, 1.34]），属于“超线性”（super-linear）增长。换言之，大城市里的居民平均比小城镇的居民拥有更多的社会互动（以电话通信衡量），城市的社会经济过程会随着城市规模的扩大而加速。
• 内部通话连接度指数：只分析城市内部的通话时，这个指数变得更高，b=1.49（95%置信区间为 [1.39, 1.58]）。这表明，随着科特迪瓦的城市不断发展壮大，其内部通话在总通话量中所占的比例会越来越高。

社会熵

城市规模扩大的另一面是负面效应也在放大。研究表明，一些负面社会变量，如犯罪率、传染病新增病例、污染等，同样与城市人口之间存在超线性关系：

[math]\displaystyle{ E \propto N^\beta \quad (\text{其中 } \beta \gt 1) }[/math]

(6)

部分负面社会变量之于城市规模的缩放指数

指标	β	95% CI	Adj-R²	观察值	国家 - 年份
新增艾滋病病例	1.23	[1.18,1.29]	0.76	93	美国 2002-2003
严重犯罪	1.16	[1.11,1.18]	0.89	287	美国 2003
暴力犯罪	1.2	[1.15,1.25]		27; 5570	巴西 2003-2007
暴力犯罪	1.2	[1.07,1.33]		12	日本 2008

犯罪率

【待补充】

这揭示了城市作为复杂巨系统的内在矛盾：一方面，人口集聚带来超线性的繁荣；另一方面，也滋生了超线性的混乱。

用离差评估城市

Bettencourt等人发表于2010年的研究通过分析城市规模与各项指标（如经济、创新、犯罪等）之间的非线性关系，提出了“离差指标”的方法。该方法的核心在于区分因城市规模而产生的普遍性效应与特定城市独有的局部动态。传统的人均指标往往将这两者混为一谈，而“离差评估”则通过一套城市指标（SAMIs）来衡量一个城市与其规模所预期的平均水平之间的偏差。该方法基于以下两个主要公式：

城市指标的幂律定标法则（Scaling Law）

这是描述城市指标（Y）与人口规模（N）之间平均关系的基础公式：

[math]\displaystyle{ Y(t)=Y_0N(t)^{\beta} }[/math]

(7)

其中：

• [math]Y(t)[/math] 是城市指标在时间 t 的值。
• [math]N(t)[/math] 是时间 t 的人口规模。
• [math]Y_0[/math] 是一个归一化常数。
• [math]\beta[/math] 是定标指数。当 [math]\beta \approx 1.15[/math] 时，表示该指标具有超线性增长效应，即人口每增加一倍，该指标的人均值将系统性地增加约15%。

尺度调整后的大都市区指标（SAMIs）

该指标用于量化每个特定城市相对于其规模所预期的平均水平的偏差（离差）。

[math]\displaystyle{ log[\frac{Y_i}{Y(N_i)}] = \zeta_i }[/math]

(8)

其中：

• [math]Y_i[/math] 是某个特定城市的指标观察值。
• [math]Y(N_i)[/math] 是根据公式7预测的该城市规模下的平均值。
• [math]\zeta_i[/math] 是 SAMI 值，它是一个无量纲的指标，与城市规模无关，反映了该城市独有的成功或失败。

企业的规模法则

企业作为经济系统的基本单元，同样展现出类似的规模规律。为了理解这些规律，我们可以从不同的角度来衡量和分析公司的规模，其中最常见的两种视角分别是将其视为现金流系统（以总资产为衡量标准）和组织结构（以员工数为衡量标准）。

公司作为现金流系统：基于总资产的规模法则

将一家公司的总资产视为其“体重”，各类财务流（如收入、成本、利润、债务等）视为“新陈代谢”指标，我们可以发现它们之间存在显著的幂律关系。基于这一类比，张江等学者的研究分析了全球数千家上市公司的财务数据，考察各主要财务变量相对于总资产的标度行为，发现所有考察的财务指标与总资产之间均存在显著的幂律关系。

收入与成本

美中欧公司的总收入（Revenue, R）和总成本（Cost of Operator, C）都与总资产（Assets, A）普遍呈现亚线性关系，即幂指数 β 略小于 1（中国的 Cost of Operator除外）。

• [math]R \propto A^{0.91} [/math] （美国）
• [math]R \propto A^{0.92} [/math] （中国）
• [math]R \propto A^{0.93} [/math] （欧洲）
• [math]C \propto A^{0.81} [/math] （美国）
• [math]C \propto A^{1.02} [/math] （中国）
• [math]C \propto A^{0.96} [/math] （欧洲）

收入和成本的亚线性关系意味着，企业规模越大，平均每单位资产产生的收入或成本就越低。这体现了企业经营中的规模报酬递减现象。随着资产规模的扩大，企业可能面临市场饱和、管理效率下降等问题，导致新增资产带来的边际收益减少。

利润

净利润（Net Income, I）作为收入扣除成本后的剩余，与企业规模之间也遵循亚线性规模定律，而且其幂指数往往比收入更低。而且不同市场的利润幂指数相近，在0.85左右。

• [math]I \propto A^{0.85} [/math] （美国）
• [math]I \propto A^{0.83} [/math] （中国）
• [math]I \propto A^{0.87} [/math]（欧洲）

该幂律关系表明，大公司的利润增长速度慢于资产的增长。也就是说，企业规模越大，在保持利润率方面反而越困难，这与生物体越庞大单位质量所消耗的能量越少类似，因此张江将这一发现称为企业中的“广义克莱伯定律”。

债务

公司的总债务（Liability, L）与总资产之间的幂律关系，则反映了不同市场环境下资本分配的差异。

• [math]L \propto A^{1.00} [/math] （美国）
• [math]L \propto A^{1.09} [/math] （中国）
• [math]L \propto A^{1.08} [/math] （欧洲）

在美国市场中，总债务随总资产近似线性增长，表明大、小企业平均负债率相差不大。中国、欧洲企业的债务规模法则呈现超线性特征，这说明公司在变大时，其负债增长速度快于资产本身的增长。这体现了“强者愈强”的资本倾斜现象，大型企业更容易获得贷款，但同时也潜藏着更高的财务风险。

公司作为组织：基于员工数的规模法则

上表数据展示了2009年美国上市公司各项变量与员工数（E）之间的规模法则。该法则可以用这个公式来描述来描述:

[math]Y = cE^{\gamma}[/math]

其中：

• [math]Y[/math] 代表了表格中的各个变量，如总销售额、总资产、研发支出等。
• [math]E[/math] 代表员工数，是衡量企业规模的基底。
• [math]\gamma[/math] (伽马) 是幂指数，是衡量变量随企业规模（员工数）增长的速度。
• [math]c[/math] 是一个比例系数。

表格中的数据揭示了几个重要的发现：

• 亚线性规模法则：表格中所有的幂指数 [math]\gamma[/math] 都小于1，这表明当企业规模（员工数）扩大时，所有的变量都以比员工数增长更慢的速度增长。这与城市和互联网社区的超线性增长（[math]\gamma > 1[/math]）形成鲜明对比，也表明企业并非是一种高效的人类组织。
• 人均产出的下降：由于所有变量的增长速度都比员工数慢，这意味着人均值（如人均销售额、人均资产、人均研发支出）都会随着企业规模的扩大而减小。这证实了“大企业病”的存在，即公司规模越大，效率反而可能越低。
• 不同变量的增长速度不同：尽管所有变量的幂指数都小于1，但它们的值各不相同，这表明不同变量随企业规模增长的速度是不同的。
  • 增长最快：总销售额（[math]\gamma = 0.99[/math]）和总税收、销售成本（[math]\gamma = 0.96[/math]）等财务收入和成本的增长速度最接近员工数。
  • 增长较慢：开店数量（[math]\gamma = 0.41[/math]）、股东数量（[math]\gamma = 0.27[/math]）、关店数量（[math]\gamma = 0.25[/math]）和部门数量（[math]\gamma = 0.12[/math]）等变量的幂指数非常低。

尽管企业规模在扩大，但其产出和各项指标的增长并未跟上员工数量的增长，这体现了企业在效率方面的局限性。

用离差评估企业

我们可以通过绘制双对数坐标图来研究某个变量（如总利润）与企业规模（如总销售额）之间的关系。在理想状态下，这些数据点会落在一条直线上，这条直线代表了该市场中所有企业在该指标上的平均水平。

规模标度律的离差（或称离差）就是衡量一个企业的数据点偏离这条平均直线的垂直距离。这个离差可以作为比例指标的替代品，用于评估企业的表现。

• 离差 > 0：如果企业的点位于平均直线的上方，表明该企业在该指标上的表现高于市场平均水平。
• 离差 = 0：如果企业的点正好位于平均直线上，表明该企业的表现恰好等于市场平均水平。
• 离差 < 0：如果企业的点位于平均直线的下方，表明该企业的表现低于市场平均水平。

传统的比例指标（例如，总利润/总销售额）存在局限性，因为它没有考虑到规模效应的影响。而规模标度律的离差则更具优势：

• 考虑了规模效应：规模法则本身已经考虑了规模效应，因此这条直线代表了行业整体的平均水平。通过计算离差，我们可以将一个企业的表现与该行业的平均水平进行公正的比较。
• 更准确的评估：离差能够更准确地反映企业在该指标上的相对表现。当两个不同规模的企业进行比较时，仅使用比例指标是不够的，因为规模效应可能导致不同规模的企业有不同的比例值。离差则将规模效应纳入了考虑，提供了更合理的比较基础。
• 反映市场动态：离差越大，表明企业在该指标上的表现越突出（高于或低于）市场平均水平。在同类企业中，离差越大，说明该企业越成功地获取了更多利润（或表现越差）。

例如，下图的雷达图展示了微软和苹果公司在多个财务指标上的离差。通过比较这两个公司各指标的离差值，我们可以看到，它们的离差都大于0，说明两家公司的表现都高于市场平均水平。同时，离差值越大，排名越靠前，显示了该企业在市场中的领先地位。

规模法则导出的生长方程

生物体的生长方程——West方程

韦斯特（West）等人在2001年的研究总结生物体个体发育的生长轨迹，基于代谢能在维持现有组织和⽣产新⽣物量之间的分配的基本原理，推导出⼀个通⽤的定量模型。

核心方程

文章首先提出了一个基于能量守恒的基本方程，用来描述代谢能量在生物体内的分配：

[math]B = \sum_{c}[N_c B_c + E_c \frac{dN_c}{dt}] [/math]

• [math]B[/math] 是生物体在t时刻的平均静息代谢率。
• [math]N_c [/math] 是细胞总数。
• [math]B_c [/math] 是单个细胞的代谢率。
• [math]E_c [/math] 是创造一个新细胞所需的代谢能量。
• [math]N_c B_c [/math] 代表维持现有组织所需的能量。
• [math]E_c \frac{dN_c}{dt} [/math] 代表用于产生新细胞、即用于生长的能量。

这个方程的推导基于一个前提：生物体的代谢能量被分配用于维持现有组织和产生新组织（生长）。

结合规模法则的生长方程

文章进一步将上述能量守恒方程转化为质量增长的微分方程 (10)。因为总质量 m 等于细胞总数 [math]N_c [/math] 乘以单个细胞的质量 mc （即 [math]m = m_c N_c [/math]），所以方程可以重写为：

[math]\frac{dm}{dt} = (\frac{m_c}{E_c})B - (\frac{B_c}{E_c})m [/math]

这是描述质量增长率的基础方程。

为了将这个方程与规模法则联系起来，作者引入了克莱伯定律（Kleiber's Law）的 3/4 幂律关系，即生物体的静息代谢率 B 与其总质量 m 遵循以下关系：

[math]B = B_0 m^{3/4} [/math]

[math]B_0[/math] 是一个常数。

将 [math]B = B_0 m^{3/4} [/math] 代入质量增长方程，得到了一个关键的生长方程：

[math]\frac{dm}{dt} = am^{3/4} - bm [/math]

[math]a[/math] 和 [math]b[/math] 是常数，其中 [math]a \equiv B_0 m_c / E_c [/math] 且 [math]b \equiv B_c / E_c [/math]。

解释渐近最大体型 (Determinate Growth)

这个方程解释了为什么生物体具有确定的最大体型（determinate growth）。当增长率 [math]\frac{dm}{dt}=0 [/math] 时，生物体达到其渐近最大体型 M。从方程中可以看出：

[math]0 = aM^{3/4} - bM [/math]

从而得到最大体型 M 的表达式：

[math]M = (\frac{a}{b})^4 = (\frac{B_0 m_c}{B_c})^4 [/math]

这个结果表明，物种之间的最大体型差异主要由其细胞代谢率 [math]B_c [/math] 的系统性变化决定。

统一的、无参数的生长曲线

通过将 [math]b=a/M^{1/4} [/math] 代回生长方程，文章得到了一个更具普遍性的形式：

[math]\frac{dm}{dt} = am^{3/4}[1 - (\frac{m}{M})^{1/4}] [/math]

通过对这个微分方程进行积分，可以得到一个描述质量 m 随时间 t 变化的经典S形曲线方程：

[math](\frac{m}{M})^{1/4} = 1 - [1 - (\frac{m_0}{M})^{1/4}]e^{-at/4M^{1/4}} [/math]

• [math]m_0 [/math] 是出生时的质量。

这个方程可以被重新整理为一个无参数的普适曲线，通过将无量纲质量比 r 和无量纲时间 [math]\tau [/math] 绘制在一起来展示：

• 无量纲质量比：

[math]r \equiv (m/M)^{1/4} [/math]

• 无量纲时间：

[math]\tau \equiv at/4M^{1/4} - \ln[1 - (m_0/M)^{1/4}] [/math]

这个模型预测，所有物种的生长曲线，无论其分类群、细胞代谢率或成熟体型如何，都应该落在同一条普适曲线 [math]r=1-e^{-\tau} [/math] 上。这表明，尽管物种大小差异巨大，它们的生长过程在能量分配和时间尺度上具有普适的内在规律。

城市生长方程

贝当古（Bettencourt）等人在2007年的研究得出了城市的生长方程，表明规模法则在城市中同样适用，只是生物体随着体重增大会导致新陈代谢以较慢的速度生长，而城市的超线性规模法则会使城市的新陈代谢率随其规模增大而以更快的速度生长。

核心方程

从规模法则推导出的城市生长方程是：

[math]\frac{dN(t)}{dt} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)[/math]

• [math]N(t)[/math]：城市在时间 $$t$$ 的人口规模
• [math]\frac{dN(t)}{dt}[/math]：人口随时间的变化率，即城市增长率
• [math]Y_{0}[/math]：一个归一化常数
• [math]\beta[/math]：缩放指数（scaling exponent），反映了系统的一般动态规则
• [math]R[/math]：维持每个个体平均所需的资源量
• [math]E[/math]：增加一个新个体所需的平均资源量

文章首先从一个基本的假设开始：城市的增长受到可用资源及其消耗速度的制约。作者提出，资源 [math]Y[/math] 被用于两个主要方面：维持现有的人口和促使新的人口增长。

1. 资源被分配来维持人口和增加新人口。这个关系被表达为：

[math]Y = RN + E(\frac{dN}{dt})[/math]

• [math]RN[/math] 代表维持现有 [math]N[/math] 个个体所需的资源总量，其中 [math]R[/math] 是维持每个个体所需的资源量。
• [math]E(\frac{dN}{dt})[/math] 代表增加新人口所需的资源总量，其中 [math]E[/math] 是增加一个新个体所需的资源量，[math]\frac{dN}{dt}[/math] 是人口增长率。

2. 接下来，作者将规模法则（Scaling Law）引入这个方程。规模法则描述了城市的某个属性 [math]Y[/math] 与其人口规模 [math]N(t)[/math] 之间的幂律关系：

[math]Y(t) = Y_{0}N(t)^{\beta}[/math]

3. 将规模法则的表达式代入资源分配方程中，得到： [math]Y_{0}N(t)^{\beta} = RN(t) + E(\frac{dN}{dt})[/math]

4. 最后，对这个方程进行重新整理，解出人口增长率 [math]\frac{dN}{dt}[/math]，从而得到最终的城市生长方程：

[math]\frac{dN(t)}{dt} = \frac{Y_{0}N(t)^{\beta} - RN(t)}{E} = (\frac{Y_{0}}{E})N(t)^{\beta} - (\frac{R}{E})N(t)[/math]

这个生长方程的解会根据缩放指数 [math]\beta[/math] 的值呈现出亚线性、线性、超线性三种截然不同的增长模式，其中城市属于超线性增长， [math]\beta > 1[/math]。城市人口的增长是无限制的，并将在一个有限的时间内达到“奇点”（Singularity），即城市规模的增长速度比指数增长还要快。这反映了城市独特的自催化（autocatalytic）性质，即城市规模的扩大能通过创新和社交互动等过程进一步加速自身的增长。

当资源稀缺时，超线性动态的特点是崩溃（collapse）。尽管城市最初可能呈现超线性增长，但由于资源的限制，这种快速增长最终会达到一个临界点，并迅速崩溃。这反映了过度依赖有限资源而导致的不稳定性和脆弱性。

城市与生物、公司的区别

城市生长方程与生物和公司模型的核心区别在于其内在机制和增长模式：

• 增长极限：生物的生长方程（如West方程）解释了为什么生物体最终会达到一个确定的最大体型（determinate growth）。这是因为生物体的代谢率呈亚线性增长（[math]β<1[/math]），而维持生命的成本呈线性增长，当两者达到平衡时，增长便会停止。公司的增长则更复杂，其增长轨迹受财务结构影响，但普遍呈现亚线性的幂律增长，而非指数增长或无限增长。相比之下，城市的超线性增长（[math]β>1[/math]）意味着其在理论上没有增长上限，除非面临外部资源约束，否则将持续加速。
• 内在机制：生物的增长由能量在维持现有组织和创造新组织之间的分配决定，其代谢效率随规模增大而降低。公司的增长则由财务收支决定，其核心是净收入与资产、负债之间的幂律关系。城市的增长是社会经济活动的结果，其超线性本质源于人口密度增加所带来的创新、财富创造和信息流动效率的提升。
• 规模法则差异：生物体的关键属性（如代谢率）随体型呈亚线性增长，即 [math]β=3/4[/math]。公司的收入等财务指标随资产规模呈亚线性增长，即 [math]β≈0.85[/math]。而城市的创新率、收入和专利数量等关键社会经济指标则随人口呈超线性增长，即 [math]β>1[/math]，这正是城市区别于前两者的根本特征。

超线性增长：奇点

贝当古等提出，由超线性规模法则（[math]\beta > 1[/math]）驱动的城市增长，其内在特性是不可持续的，因为它会导致人口在有限时间内达到一个“奇点”（singularity），即人口无限增长。这种增长模式被称“繁荣-崩溃”（boom/collapse）模式，如果不加干预，最终会停滞或崩溃。

为了避免这种危机，城市必须进行“重大质变”，也就是通过创新来“重置”初始条件和参数。这种创新活动确保了城市的主导动力仍然处于“财富和知识创造”的超线性增长阶段。

当城市生长方程的 [math]\beta > 1[/math] 时，这个方程的解会产生一个“超指数”（superexponential）增长曲线，并在一个有限时间 [math]t_c[/math] 处发散 。这个 [math]t_c[/math] 被称为“奇点时间”或“崩溃时间”。这个 [math]t_c[/math] 的值由以下公式近似得出：

[math]t_{c} \approx [\frac{E}{(\beta-1)R}]\frac{1}{N^{\beta-1}(0)}[/math]

为了避免崩溃，城市必须在接近奇点时间 [math]t_c[/math] 时引入新的创新周期。每一次新的创新都有效地重置了增长参数，开启了一个新的超线性增长周期。

关键的结论是，为了维持持续增长，创新周期之间的时间间隔必须不断缩短。这是因为根据奇点时间公式 [math]t_{c} \propto 1/N^{\beta-1}(0)[/math] ，当人口 [math]N[/math] 增加时，达到下一次崩溃的时间 [math]t_c[/math] 会变短。因此，新的重大创新或适应措施必须以不断加速的速率出现，才能维持城市的增长。

企业生长方程

张江等人在2022年的研究基于规模法则推导出的企业生长模型公式。这份理论框架将公司的财务平衡与规模法则相结合，提供了一个预测公司随时间增长轨迹的通用方程。

核心理论建立在两个基本假设之上：

1. 财务平衡方程: 公司的总资产 [math]A(t)[/math] 随时间的变化率，等于其净收入 [math]I(t)[/math] 加上负债 [math]L(t)[/math] 的变化率。在忽略资本注入和股息支付等次要因素后，这一关系可以表达为微分形式：

[math]\frac{dA}{dt}=I(t)+\frac{dL}{dt}[/math]

此方程在任何时刻都精确成立，它描述了公司的资源流入和流出如何驱动其增长。

2. 公司的财务指标（如净收入 [math]I[/math] 和负债 [math]L[/math]）与公司规模（用总资产 [math]A[/math] 衡量）之间存在幂律关系。这与生物体和城市中观察到的异速生长（allometric scaling）现象类似：

[math]X(A)=c_{X}A^{\beta_{X}}[/math]

其中 [math]X[/math] 代表某一财务指标，[math]c_X[/math] 为归一化常数，[math]\beta_X[/math] 为标度指数。

重要公式推导

通过将规模法则代入微分形式的财务平衡方程，可以得到一个通用的企业增长微分方程，它能预测公司资产随时间的变化轨迹。

首先，根据链式法则，负债的变化率可以表示为：

[math]\frac{dL}{dt}=(\frac{dL}{dA})(\frac{dA}{dt})[/math]

将规模法则 [math]L=c_{L}A^{\beta_{L}}[/math] 代入，得到：

[math]\frac{dL}{dA} = c_{L}\beta_{L}A^{\beta_{L}-1}[/math]。

将此项以及收入的规模法则 [math]I=c_{I}A^{\beta_{I}}[/math] 代入财务平衡方程 [math]\frac{dA}{dt}=I+\frac{dL}{dt}[/math]，得到：

[math]\frac{dA}{dt} = c_{I}A^{\beta_{I}} + c_{L}\beta_{L}A^{\beta_{L}-1}\frac{dA}{dt}[/math]

重新整理此方程，得到通用企业增长率方程（Generalized Growth Equation）：

[math]\frac{dA}{dt}=\frac{c_{I}A^{\beta_{I}}}{1-c_{L}\beta_{L}A^{\beta_{L}-1}}[/math]

这个方程描述了公司资产 [math]A[/math] 随时间 [math]t[/math] 变化的速率。

通用增长轨迹曲线与近似解

上述微分方程的解给出了公司随时间的增长轨迹。通过对该方程进行积分，可以得到一个描述公司资产 [math]A(t)[/math] 与其年龄 [math]t[/math] 之间关系的隐式表达式：

通用增长曲线（Generalized Growth Curve）

[math]t = \frac{A^{1-\beta_{I}}}{c_{I}(1-\beta_{I})}[1-(\frac{1-\beta_{I}}{\beta_{L}-\beta_{I}})c_{L}\beta_{L}A^{\beta_{L}-1}][/math]

这个方程通常无法直接反解出 [math]A(t)[/math] 的显式表达式。然而，当负债的标度指数 [math]\beta_L[/math] 约等于 1 时，可以得到一个很好的近似解：

幂律增长近似解（Power Law Approximation）

[math]A(t) \approx ct^{\gamma}[/math]

其中，指数 [math]\gamma[/math] 和系数 [math]c[/math] 由标度指数 [math]\beta_L[/math] 和 [math]\beta_I[/math] 决定。当 [math]\beta_L[/math] 恰好等于 1 时（例如在美国市场），指数 [math]\gamma[/math] 的表达式简化为 [math]\gamma = \frac{1}{1-\beta_{I}}[/math]。根据美国市场的实证数据，[math]\beta_I \approx 0.85[/math]，这导致 [math]\gamma \approx 6.79[/math]。

该模型表明，公司的增长轨迹是一个复杂的、由其内在财务结构决定的动态过程。与生物体最终停止生长的S形曲线不同，该模型预测的公司可以经历类似城市一样的开放式增长，即亚线性的幂律增长。这种理论框架能够灵活地整合不同市场的异质性（例如，中国、欧洲市场的 [math]\beta_L[/math] 略大于1）并做出准确的预测。

模型的验证

张江等人利用美国、欧洲和中国的数据，验证了上述企业生长方程的有效性。

• 美国和欧洲：数据来自Compustat数据库，包含了美国（1950-2023）和欧洲（1987-2023）公开上市公司的财务信息。
• 中国：数据来自Wind资讯的上海证券交易所和深圳证券交易所数据库，包含了1996年至2022年中国公开上市公司的财务信息。

衰老与死亡

生物体的死亡

Brown等人根据新陈代谢的理论推导生物体的死亡规律。由于在大多数种群中，死亡率必须非常接近繁殖率以维持种群稳定，而繁殖率又是由新陈代谢的生物量生产所驱动的，因此死亡率的变化可以通过代谢率来解释。

基础方程：新陈代谢率

该理论的基础是生物的代谢率（B），其取决于生物体质量（M）和绝对温度（T）。代谢率的规模法则方程为：

[math]B \propto M^{3/4}e^{-E/kT}[/math]

其中：

• [math]M[/math] 代表生物体质量。
• [math]e^{-E/kT}[/math] 是玻尔兹曼-阿伦尼乌斯因子，表示温度的指数依赖性，其中 [math]E[/math] 是活化能，k 是玻尔兹曼常数。

推导死亡率方程

单位质量的代谢率（[math]B/M[/math]）遵循的方程是：

[math]B/M \propto M^{-1/4}e^{-E/kT}[/math]

该理论进一步预测，由于新陈代谢是生物体内所有速率过程的基础，包括决定生长和繁殖的速率，因此死亡率（Z）也应以与单位质量的代谢率相同的方式进行规模缩放。

[math]Z \propto M^{-1/4}e^{-E/kT}[/math]

因此，死亡率的规模法则方程与单位质量的代谢率方程形式上一致，也与生物体质量的 [math]-1/4[/math] 次方成反比。

企业的死亡

根据Daepp等人在2015年发表的研究，公司的“死亡”定义为公司从数据库中的消失。这包括了多种情况，其中最常见的是通过并购（mergers and acquisitions）消失，而不是清算（liquidation）。论文通过对超过25,000家北美上市公司的综合数据库进行详细的生存分析，发现公司的死亡率（或称“风险率”）在很长一段时间内大致保持恒定，与公司的年龄无关。

论文推导的出发点是一个简单的衰变过程模型，假设死亡数量与现有公司数量成正比。

死亡微分方程

在一个非常小的离散时间间隔 [math]\Delta t[/math] 内，死亡的公司数量 [math]\Delta N_d(t,T)[/math] 与在时间 t 仍存活的公司数量 [math]N(t,T)[/math] 成正比，比例系数为风险率 [math]\lambda(t,T)[/math]：

[math]\Delta N_{d}(t,T)=\lambda(t,T)N(t,T)\Delta t[/math]

当时间间隔趋近于零（[math]\Delta t \to 0[/math]）时，这个方程可以写成微分形式：

[math]\frac{\partial N(t,T)}{\partial t}=-\lambda(t,T)N(t,T)[/math]

其中 [math]N(t,T)[/math] 是在观察时间窗口 T 内，在时间 t 仍存活的公司数量。

指数分布解

当假设风险率 [math]\lambda[/math] 是一个常数时，上述微分方程的解为经典的指数形式：

[math]N(t,T)=N(0,T)e^{-\lambda(T)t}[/math]

这个方程表明，一个公司存活到时间 t 的概率随着时间呈指数衰减。论文的实证分析表明，指数分布能很好地拟合数据。

修正的指数分布与半衰期

由于数据是在一个有限的观察窗口 T 内获取的，为了解决边界条件问题（即在窗口结束时，所有公司都被视为死亡），论文引入了一个修正项，得到了一个修正的指数分布函数：

[math]N(t,T)=N(0,T)e^{-\lambda t}[\frac{1-e^{-\lambda(T-t)}}{1-e^{-\lambda T}}][/math]

当观察窗口 T 远大于公司年龄 t 时，这个方程可以近似为常规的指数公式。基于这个模型，论文计算了公司的半衰期（[math]t_{1/2}[/math]），即一半的公司死亡所需的时间。通过求解 [math]M(t_{1/2}) = 1/2[/math]，可以得到半衰期的公式：

[math]t_{1/2}(T)=\frac{ln~2}{\lambda}[1-\frac{ln(1+e^{-\lambda T})}{ln~2}][/math]

其他规模法则

其他规模法则指的是除经典的克莱伯定律（Kleiber’s law）等众所周知的规模关系之外，在复杂系统中发现的其他各类标度关系（scaling laws）。以下讨论几个不同领域的规模法则，包括生态系统中的能流网络标度、在线社区中的用户行为标度等。

生态系统

概念背景与动机：生态系统可以被视为由能量流驱动的开放系统，其组成单位（物种）通过食物网连接成加权有向网络。早期研究发现，生物代谢率与生物体质量之间存在异速生长规律（allometric scaling），克莱伯（Kleiber）首先揭示了代谢率随体重的~3/4次幂定律。后续研究将异速标度拓展到群落和生态系统层次，例如物种的种群密度、丰度与营养级等也可由其体型预测。

大语言模型

训练阶段的规模法则（Training‑time Scaling Laws）

1. OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。
2. “Chinchilla”规模法则：Hoffmann等人发现当时许多大型模型严重训练不足，参数规模远超可用的数据规模。通过对70M～16B参数、5亿～5000亿token的400多个Transformer模型实验，他们提出了计算最优的规模配置：模型参数数量与训练语料长度应当同比例扩增。也就是说，在给定总算力预算下，模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math]，[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下，Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math]，高估了最优模型规模。据此，Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla（70亿参数，训练token约1.4万亿，是Gopher数据量的4倍）。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如，在MMLU基准上Chinchilla达到67.5%的平均准确率，比Gopher提高了7个百分点。这一成果证实：在固定算力下，与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源，可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则，许多2023年的新模型设计（如LLaMA等）都遵循了参数规模与语料规模平衡的策略。值得注意的是，当数据上限受制时（如领域数据有限），也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。

推理阶段的规模法则（Post-training & Inference-time Scaling）

训练完成后，在模型推理和应用阶段增加计算量也体现出规模效应。例如，让模型“思考更久”（更多推理步骤或搜索次数）往往能提升性能，这被视为推理时的规模规律：

1. 搜索推理：DeepMind的AlphaGo/AlphaZero等展示了测试时计算扩展的威力。AlphaGo的棋力（Elo等级分）随着其每步允许的蒙特卡洛树搜索(MCTS)模拟次数的增加而稳步提升。在AlphaGo Zero中，增加约2倍的搜索预算即可提高约120点Elo，相当于将模型参数和训练翻倍所带来的提升幅度。也就是说，在一定范围内，“2倍推理计算 ≈ 2倍模型规模”对最终性能的贡献是类似的。这体现了一种推理-训练可交换的缩放规律：通过增加部署时的搜索深度，可以在不增加模型复杂度的情况下获得类似效果的性能增益。进一步，在棋类或博弈中可以发现训练与推理的此类折中关系：例如在Hex棋游戏中，增加10倍训练计算量大致相当于增加15倍推理搜索量；在扑克AI Libratus、外交游戏AI Cicero等复杂不完美信息博弈中，加入大规模对局搜索同样显著提高了胜率，其效果与成百上千倍的额外训练相仿。这些案例说明，在博弈决策领域存在明确的推理计算缩放定律：持续增大推理搜索计算呈现对数线性的收益递增，但性价比逐渐下降。
2. 生成式模型（代码合成与问题求解）：大语言模型在推理阶段通过多样采样、程序搜索等也展现幂律提升。DeepMind的AlphaCode在算法编程挑战中引入了候选生成+测试的扩展推理策略，结果模型随生成候选程序数量（即推理搜索时间）的增加，解决问题的成功率近似呈对数线性上升。换言之，给定一个固定规模的模型，让它尝试越多方案，其性能提升遵循平滑的幂律趋势。类似地，OpenAI的代码生成模型Codex和后续的GPT-4等，在增加采样次数、增加思考步骤（如Chain-of-Thought连贯推理）时，问题解答准确率持续提高。2024年OpenAI发布的o1报告也总结，大模型在数学推理、科学问答、代码调试等场景中，无论通过扩展训练 compute 还是推理 compute，性能都会一致地提升，并给出了多个推理扩展提升性能的例证。总的来说，在推理/部署阶段扩充计算（如更长的推理链、更大的搜索广度或更多函数调用）是一条独立于模型参数的提升途径。这被形式化为推理规模定律：模型性能 [math]\displaystyle{ f }[/math] 随推理计算量 [math]\displaystyle{ C_{test} }[/math] 增加而改进，并往往呈现出次幂指数递减的曲线，即开始阶段收益显著，逐步趋于饱和。实际意义是，在应用中可以通过增加推理计算来换取性能（如用思维链、多轮推理弥补模型规模不足），二者存在可预测的折中关系。

断裂式规模法则（Broken Neural Scaling Laws, BNSL）

Caballero等人提出“平滑断裂的幂律”（smoothly broken power law）来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降，但大量实证发现，性能提升常随规模出现阶段性拐点，在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象：[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子（如参数N、数据D或计算量C），[math]\displaystyle{ y }[/math] 是对应的性能指标（如预测误差或奖励）。这一公式由若干段幂律曲线通过光滑的过渡相连：在远"断点" [math]\displaystyle{ d_i }[/math] 的区域，[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math]，第 [math]\displaystyle{ i }[/math] 段项近似为1，不影响整体指数；当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时，该项逐渐发挥作用，将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中，这表现为折线般的多段斜率，用"break"（断点）标志幂律指数的改变。因此相较单一幂律模型，BNSL能拟合"分段直线+过渡弧"的性能曲线。

实验上，他们发现广泛的场景都符合这一断裂式规律，包括：大规模视觉模型、语言模型、音频和视频模型，扩散生成模型，多模态融合模型，对比学习模型，迁移学习，强化学习（单智能体和多智能体）、出圈泛化（OOD）、不确定度校准、提示范式（zero-shot/prompt）下的性能，甚至AI对齐和能力涌现等现象。例如，有些任务在小模型阶段提升很快（陡峭幂律），但达到中等规模后提升速率显著下降（幂指数变小），再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画，每个线段对应不同的机制或瓶颈主导阶段。总的来说，断裂式规模法则揭示了非单调的扩展效益：性能随规模增长并非始终遵循同一速率，而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果，需要考虑潜在的拐点和段内规律。

微调阶段的规模法则（Finetuning Scaling Laws）

大模型预训练完毕后，在下游任务上微调同样存在可预测的缩放行为。典型研究关注：给定预训练模型规模，微调数据集大小如何影响下游性能，以及初始模型规模与所需微调数据的关系：

Hernandez等人研究了无监督预训练模型在新分布上的迁移缩放规律。他们比较了两种情形：（a）从头在目标数据集上训练不同大小的模型，（b）先用海量通用语料预训练模型，再微调相同的数据。结果发现，大模型在固定的小数据集上从头训练会很快进入数据饱和，损失不再显著下降；而经过预训练的模型微调时，虽然数据有限但性能提升的斜率仅是减小而非归零。也就是说，预训练赋予模型一定的通用能力，使其在低数据下仍能持续改进。为量化预训练贡献，Hernandez等人定义了“等效转移数据”指标：即观测微调后某模型达到的损失，假设没有预训练、仅靠该模型从零训练，需要多少目标数据才能达到同样损失。他们发现，在低数据微调（目标数据不到满足无限数据性能的10%）的情况下，这个等效数据量与模型参数数和微调数据量呈幂律关系：

[math]\displaystyle{ D_{\text{effective}} \approx K \times N^{\alpha} D_{\text{finetune}}^{\beta} }[/math]

其中 [math]\displaystyle{ N }[/math] 为预训练模型参数，[math]\displaystyle{ D_{\text{finetune}} }[/math]为微调数据量，[math]\displaystyle{ \alpha,\beta }[/math]为对应的幂指数。[math]\displaystyle{ \alpha }[/math]可理解为模型的一般性指标，[math]\displaystyle{ \beta }[/math]反映目标分布相对预训练分布的距离。实证结果显示：预训练相当于将微调数据量放大了一个倍数（例如对40M参数的Transformer在Python代码上的微调，3e5字符相当于从头训练需要3e8字符，即预训练起到了1000倍数据的效果）。这种转移增益随着微调数据的减少而变得更加显著：数据越少，预训练带来的等效数据放大倍数越大。结论是，下游任务的性能可以用参数、微调数据和算力三要素的幂律来预测，和总体性能的缩放类似。这解释了为何更大的预训练模型在小数据任务上表现更佳——它们相当于提供了更多"虚拟样本"。这一规律也指导实践：面对数据稀缺任务，使用更大的预训练模型往往比增加数据更有效；反之，若下游数据充足，小模型通过更多数据也可弥补一部分差距。此外，Gordon等人研究发现在机器翻译等场景也验证了类似的参数-数据缩放律，并探讨了模型初始规模与微调效果的关系，如模型越大，微调曲线越陡峭、上限越高。

记忆事实的规模法则（Fact-memorization Scaling Laws）

大模型在训练语料中记忆事实知识（如百科知识、三元组关系）的能力如何随规模和训练过程变化？近期研究给出了定量分析：

1. Lu等人对这项工作专门测量了LLM对原始事实（三元组知识）的记忆容量随模型大小和训练时间的缩放规律。作者定义“事实容量”为模型能无误记忆的最大事实条目数量，并使用Wikidata知识库构建评测（键-属性-值三元组形式的原子事实）。实验发现，在相同训练epoch下，模型的事实容量几乎正比于参数规模：参数数量越大，能记住的不同事实就越多，表现为容量随N线性增长。另一方面，增加训练epoch对记忆容量的提升呈饱和趋势：最初几个epoch容量增长明显，但之后趋于平稳，符合负指数衰减的规律。也就是说，训练轮数增加对新事实的记忆收益递减，长期来看容量接近于一个上限。根据拟合的规模公式，若想在100轮训练内让模型记住Wikidata中全部约1.5亿条事实三元组，大致需要一个1000B（千亿）非嵌入参数规模的模型。这一数量级远超当前模型，表明靠参数记忆所有公共知识在通用预训练中几乎不可能实现。因此该研究建议应结合检索等外部知识，以弥补参数记忆能力的不足。除了总体容量，他们还考察了模型对不同类型事实的记忆行为：发现模型难以用统一方式兼容存储冗余表述的事实，除非它们在训练中以相同方向和句式出现；模型更偏好记忆高频和难度大的事实，而对低频事实的记忆容易被后续训练的新事实覆盖干扰。这些现象反映出LLM记忆的非高效性：对于重复知识没有自动压缩归纳，后学习的内容可能覆盖先前学到的细节。上述发现阐明了LLM记忆内部的容量限制和特性：纯靠增大模型或训练轮数，记忆能力存在天花板和不均衡，需借助混合技术提升可靠性。
2. Morris等人，来自Meta/Google等的最新合作研究，从信息论角度度量了LLM的记忆容量上限。他们通过让模型在随机比特串数据集上训练，剥除了任何可泛化模式，以纯粹考察模型能记住所含信息的多少。结果估计：GPT系列模型每个参数大约只能记忆3.6比特的信息。换言之，一个100亿参数的模型其权重所能硬记的总信息量在几十亿比特量级（约几百MB）。这一容量密度在不同模型规模、深度、精度下几乎是定值（全精度模型略高，可达3.83 bits/param）。更有意思的是，他们发现增加训练数据并不会提高模型总记忆容量，反而模型会将固定的容量分配到更多样本上，使单个样本被记住的概率降低。也就是说，模型有一个固定的“记忆槽”，训练数据越多，这个槽在每条数据上的分摊就越少。当数据规模远超模型容量时，模型被迫转向泛化模式来最小化损失，反而减少了逐字记忆（这一现象与之前观察到的“双重下降”（double descent）相符，当数据量超过模型记忆阈值时，训练损失曲线会二次上升然后下降，显示模型从纯记忆过渡到泛化）。因此，他们将模型的总记忆量视为一种固定资源：若想提升模型记忆库，主要途径是增加参数而非无限扩充训练集。这一研究在理论上支持了Lu等对事实记忆饱和的担忧，并提出了新视角的指标（bits per parameter）来衡量模型存储知识的效率上界。对于隐私和版权方面，它也意味着大型模型并不会简单地因为读入更多版权数据就机械记住更多内容，每个参数能容纳的信息量有限且随着数据增多而被冲淡。总之，大模型对训练语料的记忆遵循一定的规模规律和上限：存在容量饱和和单位参数收益递减，这提示我们需要在记忆与泛化间权衡，并借助更大模型或外部知识库来突破单模型的记忆极限。

参数密度时间法则（Densing Law）

通常提到的Scaling Law是横向比较不同规模模型的性能，本节讨论的是纵向随时间的演进：随着研究进展，同样规模的模型效果在提升。这被称为参数密度-时间法则，或“Densing Law”。

Xiao等人对这项工作引入了“容量密度”的新度量来衡量不同时期模型的效率提升。他们选取一系列参考基准模型，通过Scaling Law预测这些参考模型在不同参数规模下的性能曲线，然后定义任意目标模型的“有效参数量”：即让参考模型达到目标模型同等性能所需的参数规模。目标模型的容量密度则定义为其有效参数量与其实际参数量之比。直观地说，容量密度越高，表示模型“越高效”——用较少参数实现了其它模型更多参数才能达到的性能。分析近年开放的基础LLM（如GPT、LLaMA等）发现，模型的容量密度随时间呈指数级提升。具体而言，在若干通用基准上的拟合显示：容量密度大约每3个月翻一倍。也就是说，业界每季度左右就涌现出新模型，将单位参数的性能推进到新的水平。这一定律被称为“Densing”（意为变得更密集），揭示大模型并非简单地通过增加参数在变强，而且每个参数的含义变得更“有用”。例如，根据这一经验趋势，可以预期约一年半（18个月）后问世的新模型，即使参数规模只有当前顶尖模型的几十分之一，其性能可能相当于当今参数百亿级模型。正如摩尔定律之于硬件，Densing Law刻画了AI模型效率的提升轨迹。论文指出，这反映了算法、架构、训练方法和数据质量的持续改进：新模型通过更好的设计“榨取”了每个参数更多的能力。因此，未来LLM的发展不光在于绝对规模膨胀，也在于提高容量密度——让较小模型达到过去大模型才能企及的效果。这一规律对模型部署很有意义：如果趋势继续，一段时间后小模型就能完成当前大模型的任务，从而降低推理成本。这也提示研究重点应放在提升参数效率，如更好的训练损失、更优秀的优化和架构，以延续这种指数提升的势头。

其他方向的规模规律

1. 低精度训练的缩放规律：Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型，分别使用不同位宽（如FP32、FP16、Int8等）来表示权重、激活和KV缓存，并测量精度变化对损失的影响 。结果表明，可以通过引入"有效参数数量"的概念，将数值精度的影响纳入规模定律的框架中。具体做法是定义 [math]\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }[/math]，其中 [math]\displaystyle{ N }[/math] 为实际参数数，[math]\displaystyle{ P }[/math]为有效精度位数，[math]\displaystyle{ \gamma }[/math]是拟合常数。这个公式表示，用低 [math]\displaystyle{ P }[/math] 位精度训练时，模型的有效参数量低于实际参数——好似只有 [math]\displaystyle{ N_{\text{eff}} }[/math] 个高精度参数在发挥作用。随着精度 [math]\displaystyle{ P }[/math] 增加，[math]\displaystyle{ N_{\text{eff}} }[/math] 按指数逼近 [math]\displaystyle{ N }[/math]（精度无限高时恢复全性能）。该规律揭示：降低训练精度会以指数速度损耗模型容量，每减少一位精度，模型可表达的信息量并非线性降低，而是按 [math]\displaystyle{ e^{-1/\gamma} }[/math] 比例缩水。实验中，低精度训练的模型相当于有效参数变少，因此最终损失变高。例如，用FP16训练可能相当于只有~90%的参数在发挥作用；用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践：在接受些微性能损失的情况下，可用低精度来换取内存和算力优势，同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度：他们发现，如果在高精度下完成训练，再用极低精度推理，模型在过度训练（远超收敛）的情况下对推理精度降低更具鲁莽性。总之，精度缩放规律将模型容量视为精度的函数，表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现，其关系遵循可预测的指数规律。
2. 多模态任务的规模规律：越来越多证据表明，多模态模型（同时处理文本、图像、音频等的模型）也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设，并通过实验验证：这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型，其缩放行为与纯文本LLM相似。具体而言，在给定算力下，多模态模型的验证集损失同样随总计算量 [math]\displaystyle{ C }[/math] 近似按幂律降低；而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力，这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响，比如图像数据可能使最优参数-数据比发生轻微偏移，但总体趋势不变。他们的实验还比较了多模态融合的不同架构，发现无论是早期融合（直接将视觉token和文本token一起喂入Transformer）还是晚期融合（分别编码后再合并），当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动，与单模态情况遵循同类规律，而不是取决于特定融合策略。此外，在计算机视觉领域，Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明：图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出：ImageNet上的最低错误率 [math]\displaystyle{ L_{\min} }[/math] 可用公式 [math]\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }[/math] 拟合（其中 [math]\displaystyle{ C }[/math] 是以TPU天为单位的计算量），显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似（只是指数和常数不同）。再如OpenAI的CLIP模型在跨模态对比学习中，其图文匹配精度也随着模型和数据扩大而提升，且当数据足够多时，小模型与大模型的差距减小，符合典型的缩放曲线。总的来说，无论是语言、视觉，还是多模态联合任务，规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异，但"更大更好，且收益递减"是通用趋势。值得一提的是，一些最新研究开始探索打破常规幂的方法，例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果，从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益，看是否改变了幂律指数或者扩展了线性段长度。总体而言，多模态和特殊训练策略并未推翻规模法则，反而延展了其适用范围和内涵：规模仍然是驱动AI性能的核心因素之一，其影响可以被刻画和预测，只是在不同情境下呈现出丰富的阶段性和细微差异。

参考文献

https://ar5iv.labs.arxiv.org/html/2001.08361

https://arxiv.org/html/2503.04715v1

https://arxiv.org/abs/2001.08361

https://arxiv.org/abs/2203.15556

https://arxiv.org/abs/2206.07682

https://arxiv.org/abs/2005.14165

https://en.wikipedia.org/wiki/Neural_scaling_law

https://arxiv.org/abs/2102.01293

https://ar5iv.labs.arxiv.org/html/2102.01293

https://arxiv.org/html/2406.15720v1

https://ar5iv.labs.arxiv.org/html/2505.24832

https://arxiv.org/abs/2412.04315

https://arxiv.org/pdf/2504.07951