规模法则
介绍
规模法则（Scaling Laws）是指描述复杂系统中各种可测量特性如何随系统规模变化而系统性地、可预测地变化的数学关系。这些法则通常表现为幂律形式，揭示了从生命体到城市、公司乃至人工智能等不同尺度系统在结构、功能和动态行为上所遵循的普遍性规律。规模法则的研究不仅有助于我们理解万物生长的逻辑，更对预测系统行为、优化设计、评估可持续性以及探索新兴科技（如大型语言模型）的演化具有深远意义。
历史
规模分析简史
规模法则基本介绍
规模法则（Scaling Law）是指在各种复杂系统中，某些关键变量随着系统规模变化呈现幂律关系的一类普适规律。例如，生命体的新陈代谢率、城市的经济产出、公司的财务指标等，都可以用简单的幂函数公式来刻画其随规模变化的数量关系。一般形式上，这种关系可表示为：某宏观变量 [math]Y[/math] 与系统规模 [math]M[/math] 满足 [math]Y = aM^{\beta}[/math] ，其中 [math]a[/math] 为比例常数，[math]\beta[/math] 为标度幂指数。不同系统的幂指数各不相同，但有着惊人的一致性和可预测性。例如，生物体越大，新陈代谢速率并非线性增加而是按 [math]\beta < 1[/math] 的幂律增长；城市越大，创造的财富和创新按 [math]\beta > 1[/math] 的幂律超线性增长；企业规模越大，各种财务指标则大多按 [math]\beta \approx 1[/math] 或稍小于1的率增减。规模法则为我们提供了一个洞察复杂系统的全新视角，揭示出从细胞到城市再到公司的不同事物背后隐藏的统一规律。这一概念已成为复杂科学研究中的前沿方向，对生物学、城市规划、经济学等领域都产生了深远影响。
接下来，我们将分生物、城市和公司三个领域详细介绍规模法则的具体表现及规律。
生物
生物领域中最著名的规模法则之一就是克莱伯定律，它描述了生物体的新陈代谢率如何与体重按幂律关系缩放，被誉为"生物学的开普勒定律"。围绕克莱伯定律的发现和解释，科学家进行了长期研究。下面将介绍克莱伯定律的研究历史以及该定律的内容、推导和应用。
克莱伯定律研究历史
在生物学中，对"代谢率与体型关系"的探索历史悠久。19世纪末，德国生理学家马克斯·鲁布纳（Max Rubner）提出了著名的2/3幂律假说：他猜想动物通过体表与环境进行能量交换，因此新陈代谢速率应当正比于动物表面积。根据几何相似原理，表面积通常与体积的2/3次方成正比，体积又近似与质量成正比，于是鲁布纳预言代谢率 F 和体重 M 满足 [math]F ∝ M^{2/3}[/math]。1883年鲁布纳通过对不同体型狗的新陈代谢率实验测量，初步验证了这一关系，并在随后的研究中扩展到更多物种。他于1902年将结果整理出版，提出动物代谢速率随着体重的2/3次幂增长，被视为当时的定律。由于这一结论看似有坚实的理论几何基础，并得到实验支持，20世纪初鲁布纳的2/3次幂律一度成为生理学教条，被广泛接受。 然而，鲁布纳实验中的不少局限后来被指出：例如他的样本量偏小，只测量了极少数的人和动物，而且实验条件控制不严（被试可在实验中饮用啤酒等）。
真正的突破来自瑞士科学家马克斯·克莱伯。克莱伯在一次服兵役时因故入狱，机缘巧合下在狱中读完了鲁布纳那本艰深的著作，对其中结论既震撼又存疑。出狱后他广泛收集不同物种的数据并展开自己的实验，希望更加严谨地检验代谢率与体重的关系。1932年，克莱伯在分析了大量跨物种的数据后发表论文，结果显示生物代谢率与体重并非鲁布纳所认为的2/3幂关系，而是接近 3/4幂律。这一发现标志着克莱伯定律的诞生，也揭开了生物规模法则研究的新篇章。
鲁布纳猜想 2/3幂律（规模法则3.1）
鲁布纳猜想的 2/3幂律 是生物规模效应研究的起点。他基于热量交换的考虑，认为动物代谢率与体表面积成正比，而体表面积随体积（或质量）呈2/3次幂增长。用公式表示，即 [math]F ∝ M^{2/3}[/math]，其中 F 代表代谢率（如耗氧量或食物消耗），M 为动物体重。这意味着如果某动物体重增加100%，其代谢总需求将增加约 [math](2^{2/3} − 1) = 59[/math]% 左右，而非成比例翻倍。鲁布纳通过实验测定不同大小动物（主要是哺乳动物，如狗、豚鼠、老鼠等）的耗能情况，发现较大动物每单位质量所消耗的能量更少，初步支持了2/3指数的关系。他的实验证据虽然有限，但在当时已足够让学界信服：小动物新陈代谢旺盛、散热快，大动物新陈代谢慢、更省能量，这在量化上可由2/3幂律来描述。鲁布纳的2/3定律为后来的克莱伯定律奠定了基础，也是最早将规模与生理功能定量关联的尝试。
克莱伯定律（Kleiber's Law）
瑞士生物学家马克斯·克莱伯（Max Kleiber）通过更大规模、更严谨的种间数据比较，发现了有别于鲁布纳假说的新标度规律，即代谢率与体重呈3/4幂律增长。克莱伯定律通常表述为：生物在种间尺度上，其静息代谢率 B 与体重 M 满足 [math]B ∝ M^{3/4}[/math]。换言之，幂指数约为0.75，而非鲁布纳提出的0.67。这看似细小的指数差异却意义重大：例如若大象的体重是狮子的两倍，克莱伯定律预言大象每日需摄入的能量仅为狮子的约1.68倍，明显低于线性比例的2倍，也略高于2/3幂律预测的1.59倍。这说明体型越大的动物，单位质量所需的能量越少，呈现规模经济效应。大量哺乳动物的数据在双对数坐标下近似落在斜率为0.75的直线上，跨度涵盖小鼠到鲸等30多个数量级的体重范围，都服从这一定则。克莱伯定律具有广泛适用性，它还有许多相关的推论。例如，绝大部分哺乳动物一生心跳总数近似恒定约15亿次，这正是由于体重-代谢率3/4律与寿命-体重1/4律共同作用的结果。代谢尺度上的3/4幂律被视作生物学中的基本定律之一，不仅首次将规模法则引入复杂生命系统，也暗示生物体内部可能具有分形化的资源输运网络结构，从而导致该幂指数偏离欧氏几何的2/3值。
代谢、体重的3/4幂律（规模法则3.1）
克莱伯定律提出的 3/4幂律 实质上是对鲁布纳2/3律的修正和拓展。在更广泛的物种范围和更精确的数据支持下，克莱伯确定代谢率 B 与体重 M 满足 [math]B = a M^{3/4}[/math]（其中 a 为常数系数）。该幂律关系表明，生物体规模每扩大一倍，代谢总量仅增加约[math]2^{3/4}≈1.68[/math]倍。与之相对应，单位质量的代谢速率随着生物体增大而降低：大象每公斤组织消耗的能量远低于老鼠每公斤组织的能量消耗。3/4指数的发现最初让人生物学家困惑不已，但很快人们提出了基于分形分支网络的理论加以解释。现代的 WBE模型（West-Brown-Enquist模型）等研究认为，生物体内如血管系统等分形网络的结构优化，导致了能量传输效率提高，从而产生3/4的幂指数而非2/3。不论机制如何，克莱伯定律已经被反复验证：跨越至少5个数量级的生物体重范围内（从小型啮齿动物到大型鲸类），静息代谢率近似遵循幂指数 b ≈ 0.75 的关系。这一规律奠定了生物异速生长(allometry)研究的基础，深刻影响了生态学、进化生物学以及医学等领域对"规模效应"的认识。
城市
在城市科学和城市规划中，同样存在引人注目的规模法则现象。与生物不同的是，城市中的许多社会经济指标随规模呈现"超线性"增长，即幂指数 [math]\beta > 1[/math]。这意味着大城市不仅绝对产出更多财富和创新成果，而且相对而言更高效——人口增加一倍，某些产出往往会超过一倍。以下将介绍城市规模法则的典型表现，包括经济产出和创新的超线性标度，以及伴随而生的"社会熵"概念。
GDP、创新、科技的超线性 (约1.15幂律)（规模法则7.1.4，7.1.5）
城市作为人类社会高度复杂的系统，同样呈现出引人瞩目的规模法则特征。研究发现，城市中的许多社会经济指标与城市人口规模存在超线性的幂律关系，幂指数约为1.15左右。这意味着当城市人口增加时，总产出和创新活动等增长速度快于线性比例：例如人口扩大2倍，GDP通常增长约[math]2^{1.15} ≈ 2.2[/math]倍，人均GDP提升约10%以上。这一现象表明大城市具有更高的"收益"：规模越大的城市，平均每个人创造的财富和知识产出更多。主导这种超线性标度律的原因被认为是都市中的网络效应和集聚效应——人口规模增长带来更频繁的交互、更高的专业化分工和知识溢出，使得整体产出以超过线性的速度提高。美国科学家韦斯特等人的开创性研究表明，无论是在美国、中国等国家内部还是不同国家的城市之间，城市的总经济产出、新增知识创新等指标与人口规模之间幂指数普遍大于1，通常在1.1–1.3范围内。这种规律被形象地称为"城市超线性规模法则(标度律)"，揭示了城市规模扩张带来的非线性加成效应，以及城市作为"社会化机器"在效率和创造力方面的优势。
经济产出与科技创新
大量实证数据支持城市中的经济产出和技术创新指标随规模超线性增长的结论。例如，研究显示美国各城市GDP与人口数的幂指数约为1.12，中国城市则约为1.15，这意味着城市规模每扩大10倍，GDP大约增加15倍以上。更大的城市不仅总财富更多，人均产出也更高：随着人口 N 增加，人均GDP Y/N 并非不变，而是随 N 增长（幂指数 b - 1 为正）而有所提高。例如，北京市人口约为三亚市的30倍，但GDP总量却超过三亚的50倍，导致北京的人均GDP显著高于三亚。类似地，城市中的创新活动（如专利申请数、科研产出等）也遵循超线性规模法则：数据表明城市规模每扩大一倍，新创专利数大约增加到原来的2.2倍左右，其幂指数与GDP的非常接近。这暗示大城市中的人际交流与知识网络更加密集，从而极大激发了创新。归根结底，经济产出和创新能力的超线性标度反映了城市中社交网络连接数随规模增长而快速扩张的结果：交互越频繁，合作与创意碰撞越活跃，进而带来每人平均贡献的提升。这些发现定量地证明了"城市规模越大，人均收益越高"的规模经济学原理。
社会熵
城市规模扩大的另一面是负面效应也在放大。我们通常用"社会熵"一词来统称这些随城市规模增长而恶化的社会变量，包括犯罪率、传染病新增病例、污染等。数据显示，此类负面事件的总量与城市人口之间同样存在幂指数大于1的超线性关系。也就是说，大城市不仅财富和创新产出更高，承担的社会问题也更多：人口翻倍时，总犯罪案件数往往超过翻倍，人均犯罪率有所上升。例如，超大城市往往比小城市出现更多的治安案件和公共卫生事件，总体风险随规模放大。这体现为"更大的收益伴随更大的风险"——每个人平均财富增加的同时，也更可能遭遇犯罪或疾病传播等问题。基础设施方面则相反地呈亚线性标度：城市越大，人均所需的道路、电缆等基础设施越少，显示规模节约效应。社会熵概念揭示了城市作为复杂巨系统的内在矛盾：一方面，人口集聚带来超线性的繁荣和创造力；另一方面，也滋生了超线性的混乱和压力。如果不加以应对，这种正反馈增长甚至可能导致"奇点"的出现——即在有限时间内犯罪、疾病等"社会熵"问题无限激增并引发城市崩溃。不过在人类的历史上，城市通常通过技术创新和制度变革来不断"重置"增长曲线，降低社会熵累积的速度，从而避免走向灾难性崩溃。总的来说，城市规模法则既包含超线性收益，也包含不可忽视的超线性代价，因此提醒我们在追求城市发展的同时需要有效治理随规模而来的风险。
公司
现金流与总资产（规模法则10.2.4）
企业作为经济系统的基本单元，同样展现出类似生物体的规模规律。如果将一家公司的总资产视为其"体重"，将公司各种财务流（如收入、成本、利润、债务等）视为代谢相关的流量指标，就可以研究它们与规模之间的幂律关系。基于这一类比，《规模法则》的作者张江分析了数千家中美上市公司的数据，考察各主要财务变量相对于总资产的标度行为。结果发现，所有考察的财务指标与总资产之间均存在显著的幂律关系：在双对数坐标系下，不同年份、不同行业的公司数据大致分布在一条直线附近，说明规模法则在企业层面普遍成立。然而，不同财务变量的幂指数有所差异。因此我们不难发现，中美公司的收入、成本、利润等指标相对于总资产的幂指数均小于1，呈现亚线性规模法则；而债务指标的标度行为在不同国家存在差异：美国公司总债务与总资产近似线性（幂指数接近1），中国公司则表现为幂指数大于1的超线性关系。
收入与成本（规模法则10.2）
总收入（销售额）和总成本是企业现金流的两个核心方面，它们相对于公司规模（总资产）都呈现出<b>幂指数略小于1的亚线性关系</b>。研究表明，美国上市公司中总资产 M 与年销售额 S 满足约 [math]S ∝ M^{0.90}[/math]，中国上市公司则约为 [math]S ∝ M^{0.92}[/math]。两国幂指数均明显小于1，意味着企业规模扩大时，平均每单位资产产生的收入在下降。换言之，大公司虽然绝对收入更高，但收益增长幅度低于资产增长幅度，存在报酬递减的趋势。这一点可以理解为，大企业在扩张过程中面临市场饱和、管理效率下降等因素，导致新增资产带来的边际收入减少。类似地，总成本 C 对总资产的幂指数也略低于1（美国约 [math]C ∝ M^{0.79}[/math]，中国约 [math]C ∝ M^{0.89}[/math]）。成本的亚线性表明大型企业在某些方面具有规模节约——例如批量采购、流程优化使得单位资产对应的成本支出降低。但值得注意的是，中美企业在成本标度上存在差别：中国企业的成本幂指数更接近1（0.89），相对于美国企业（0.79）增长更快。这显示出中国的大型企业在成本控制上相对美国还有提升空间，随着资产规模增大，成本增加得更为显著，削弱了规模带来的效率优势。总体而言，公司收入和成本均随规模增长而上升，但因幂指数<1，规模越大单位资产的产出/支出都趋于降低，体现了企业经营中的规模报酬递减现象。
利润（规模法则10.2.1）
净利润作为收入扣除成本后的剩余，和企业规模之间也遵循亚线性规模定律，而且幂指数往往比收入更低。在对数标度下，美国企业净利润 Π 与总资产 M 大致满足 [math]Π ∝ M^{0.85}[/math]，中国企业约为 [math]M^{0.83}[/math]，均显著小于1。也就是说，大公司虽然利润总额高于小公司，但利润的增长速度慢于资产的增长：规模扩大一倍，净利润通常只增加不到一倍。这导致大型企业的资产回报率（净利润/总资产）平均低于小企业。从规模效应看，企业越庞大，在保持利润率方面反而越困难，可能由于组织臃肿、创新活力下降或市场竞争激烈等原因，使得边际利润递减。这一定律被作者称为企业中的"广义克莱伯定律"。借用生物类比，它暗示企业越大，在"代谢"意义上越像大型动物：每单位规模所"产出"的净利润减少。这一发现有重要意义——说明企业也存在类似生物体的规模限制，大型公司难以按照与规模成正比的速度持续提高盈利。正因如此，企业在成长到一定规模后往往需要通过管理创新、战略调整来改善效率，否则利润增长会趋缓甚至停滞。另外，结合净利润和债务的规模法则，《规模法则》一书中进一步建立了企业的生长模型，解释了中美企业数十年间平均规模演化的轨迹，并预测在其他条件不变下，中国企业的增长可能在某一临界规模附近遇到"奇点"式的停滞或衰退。尽管实际企业经营会受到宏观环境等多重影响，这一定性分析仍为理解企业规模与利润极限提供了有益视角。
债务（规模法则10.2.2）
在企业规模扩张过程中，负债扮演着重要角色。公司常通过债务融资来获取发展资金，因此总债务与总资产的关系反映了融资模式与资本结构的规模效应。研究发现，美国上市公司的总债务 L 随总资产 M 大致呈比例增长，幂指数 [math]β_L[/math] 接近1（约 [math]L ∝ M^{0.99}[/math]），显示无论大企业小企业，负债规模基本按资产规模成比例增加。这意味着在美国市场中，各种规模的企业平均负债率相差不大，贷款机会相对均等：大型企业并未显著比小企业承担更高（或更低）的杠杆比例。然而，中国企业的债务规模法则则呈现超线性特征：幂指数 [math]β_L[/math] 超过1，实证结果约为1.09，即 [math]L ∝ M^{1.09}[/math]。这表明中国公司在变大时，其负债增长速度快于资产本身的增长——公司越大，平均负债率越高。换言之，大企业相较小企业更容易获得贷款，享有更多融资便利。在中国市场中，"强者愈强"的资本倾斜现象明显：大型企业可以利用规模优势取得银行等金融机构的信任，得到更大额度的债务融资，而中小企业则相对受限。这种差异对企业成长和风险都有深远影响：当负债幂指数>1时，企业规模越大财务杠杆越高，虽然有助于迅速扩张，但也潜藏更大财务风险，一旦增长放缓可能出现债务负担沉重的问题。《规模法则》的作者张江指出，这种融资不平衡格局会影响中国企业的发展轨迹，甚至可能将企业"困"在某种奇点附近——即大型企业因为债务高企而增长受限或引发系统性风险。当然，在现实中政府监管和市场机制会对过度举债有所约束，但规模法则的这一发现为我们敲响警钟：关注大型企业杠杆率随规模上升的趋势，防范潜在的系统性风险。总的来说，公司债务的规模规律体现了不同市场环境下资本分配的差异，也提醒我们在分析企业规模效应时，应将财务杠杆因素纳入考量，以获得更全面的认识。
规模法则与动力学
生物增长模型
新陈代谢的科学起源
现代新陈代谢研究始于18世纪末的安托万·拉瓦锡（Antoine Lavoisier）。他通过《动物新陈代谢回忆录》首次阐明了动物呼吸与燃烧之间的关系，指出生命是一个与外界持续进行能量交换的过程。拉瓦锡与皮埃尔·西蒙·拉普拉斯（Pierre Simon Laplace）在1777年的豚鼠实验中，首次通过测量冰的融化量和二氧化碳的呼出量，量化了动物的能量输出，证实了化学原理的精确性：热量通过燃烧来测量，化学变化与环境相关联。这一里程碑式的实验还证明了动物遵循热力学第一定律——能量守恒。
人体新陈代谢产生的能量以兆卡路里（megacalories）计算。能量消耗受多种因素影响：
- 活动水平：运动增加燃料燃烧和能量产出。
- 生理状态：应激（肾上腺素飙升）、脑力活动（神经元燃料需求增加）、感染（代谢率升高以应对发烧）均提高能量消耗。
- 基础代谢率（BMR）：身体在静息状态下维持生命所需的最低能量。女性BMR通常低于男性，因为脂肪组织比肌肉组织燃烧能量少，且女性体脂率普遍高于男性。
- 细胞层面：大脑、肌肉和肝脏含有更多线粒体，这些细胞器是能量燃烧的中心。肝脏细胞平均包含800个线粒体。
代谢率的调节与影响：
- 波动与休眠：代谢率可随时间波动，例如在冬眠状态下，细胞能量消耗可下降90%，如同一个“停工待命的工厂”。
- 体重调控：脂肪细胞释放瘦素（leptin）激素，提升能量消耗和脂肪燃烧，是身体精确调控体重的一个机制。尽管人类每年摄入大量食物，体重波动通常很小。
- 适应性：生物体的生物学特性可以适应不同的食物环境。然而，现代社会久坐的生活方式和丰富的食物供应导致不必要的能量摄入，降低了代谢率，部分原因是线粒体效率的降低。[1]
鲁布纳与代谢的定量研究
马克斯·鲁布纳（Max Rubner）是19世纪末20世纪初的杰出生物学家，为现代新陈代谢研究奠定了基础。
鲁布纳以其精确的测量和严谨的实验设计而闻名。
- “你所吃的就是你所获得的”：1889年，鲁布纳将狗置于密闭箱中45天，精确测量了食物中的卡路里能量与排泄物中的化学能。他发现两者的数值几乎相等（热量测量17,349卡路里，化学能17,406卡路里）。这一实验有力地证明了动物体内的能量转化遵循热力学第一定律，驳斥了当时流行的“活力论”。
- 食物能量价值：1878年，鲁布纳首次确定了不同食物组的能量价值：
- 蛋白质：4.1卡路里/克
- 脂肪：9.3卡路里/克
- 碳水化合物：4.1卡路里/克
这些测量值至今仍是营养学研究和膳食建议的基础。
- 气体交换与热量输出：他发现测量气体交换是评估身体热量输出的有效指标，为后续通过测量体内化学反应来量化能量开辟了道路。
鲁布纳的核心理论之一是体型对动物能量需求的影响。
- 绝对代谢率：通常，体型越大的动物，其维持生命所需的总能量（绝对代谢率）越高。
- 相对代谢率：然而，当考虑单位体重的能量消耗时（相对代谢率），情况则相反：小动物的相对代谢效率较低，需要更多食物来维持自身。例如，鼩鼱每天摄入的食物可达自身体重三倍，而大象则低于3%。
- 表面积-体积假说：鲁布纳认为，小动物需要相对更多能量的原因在于其相对表面积更大。热量产生于身体体积（每个细胞内的化学反应），但热量损失主要通过动物暴露于外部世界的表面（皮肤）。
- 对于一个立方体而言，如果边长为[math]L[/math]，其体积为[math]L^3[/math]，表面积为[math]6L^2[/math]。
- 当尺寸按比例放大时，体积的增长速度远快于表面积。例如，一个边长翻倍的立方体，体积增加8倍（[math]2^3[/math]），而表面积只增加4倍（[math]2^2 \times 6[/math]）。这意味着大动物的单位体积散热表面积更小，因此相对而言散热效率较低，需要较低的相对代谢率即可维持体温。[1]
伯格曼法则与异速生长
1847年，卡尔·伯格曼（Carl Bergmann）提出一个生态地理学规则：在密切相关的恒温动物（内分泌动物）中，生活在寒冷气候下的物种通常比生活在炎热气候下的物种体型更大。
- 证据：北极狐大于加拿大红狐，北极熊大于加利福尼亚黑熊，帝企鹅（30公斤）远大于加拉帕戈斯企鹅（不足2.5公斤）。
- 原理：大体型动物具有更大的体积-表面积比，有助于在寒冷环境中减少热量散失，更有效地保持体温。
- 阿伦法则（Allen's Rule）：乔尔·艾伦（Joel Allen）在1870年代进一步扩展了伯格曼的论点，提出生活在寒冷气候下的动物肢体和附属物（如耳朵、腿）通常更短更粗，以减少散热面积（例如北极狐有短腿和短耳）。
- 例外与复杂性：伯格曼法则并非普遍适用所有物种。例如，一些小型动物通过穴居或迁徙来规避寒冷。此外，体型大小还受食物来源、捕食压力、生殖策略等多种进化力量的共同影响。近年来研究表明，约三分之一的鸟类和三分之二的哺乳动物符合伯格曼法则，但其普适性仍在争论中。
生物体的每一个方面都与其尺寸息息相关，这涉及“异速生长”（allometry）——生物体各部分以不同的比例随整体体型变化而生长。
- 骨骼结构：伽利略（Galileo）指出，大动物的骨骼相对更粗壮，因为骨骼强度与横截面积成正比，而承载重量与体积成正比。若简单按比例放大，骨骼强度不足以支撑增加的重量（例如犀牛腿短而粗壮，瞪羚腿长而细）。
- 生命极限：伽利略和J.B.S. 霍尔丹（J.B.S. Haldane）的研究都强调了尺寸对动物生存能力和生命极限的影响（如小动物从高处坠落影响较小，而大动物则致命）。
- 表面积优化：生物体与外界的物质交换（食物吸收、气体交换、废物排出）都通过表面进行。因此，消化道、肺部、肾脏等器官的表面积都通过巧妙的折叠（如肺部展开可覆盖一个网球场）来最大化其功能效率。线粒体内部的复杂褶皱也旨在最大化能量燃烧的区域。
自然界的模式并非总是整洁或普适的物理定律。生物学规律，如伯格曼法则，尽管有其有效性，但也存在诸多例外和复杂性，这反映了生命系统进化的多样性和适应性。对这些规律的深入理解需要综合考虑多种生态、生理和进化因素。[1]
生物领域的克莱伯定律
克莱伯定律是生物学规模法则中一个核心且普遍的定律，描述了动物基础代谢率与体重之间的定量关系，揭示了生物体能量消耗的“规模经济”现象。
克莱伯定律指出，动物的基础代谢率（[math]B[/math]），即维持生命所需的基本能量消耗速率，与其体重（[math]M[/math]）之间遵循一个普遍的幂律关系。这一关系可以用以下公式表示:
[math]\displaystyle{ B \propto M^{3/4} }[/math]
这个幂指数 [math]\displaystyle{ \frac{3}{4} }[/math] 是该定律的标志性特征，并且在多种动物中普遍存在。
克莱伯定律的亚线性（sublinear）特征，即指数小于1，揭示了生物界普遍存在的“规模经济”现象。这意味着体型越大的动物，其单位体重的能量消耗效率越高。例如，虽然大象的体重是老鼠的数万倍，但其代谢率却远小于同比例的增长，通常仅为老鼠代谢率的1000倍左右 。这表明，从平均而言，大象每个细胞的代谢速率可能只有老鼠细胞的十分之一，这种系统性的代谢节奏放缓，深刻影响着整个“生命的节奏”。
这种 [math]\displaystyle{ \frac{3}{4} }[/math] 的指数，以及更普遍的 [math]\displaystyle{ \frac{1}{4} }[/math] 幂次关系，被认为与生物体内能量传输的优化有关，特别是通过分形样（fractal-like）分布网络的进化来实现。例如，代谢率与网络中末端单元（如毛细血管）的总数量 ([math]N_t[/math]) 的标度关系为 [math]B \propto N_t \propto m^{3/4}[/math]。这与细胞总数 [math]N_c \propto m[/math] 的标度关系形成对比，表明供应单元的数量与细胞总数以不同方式进行缩放，这种供需之间的不平衡最终限制了生长。
在克莱伯定律提出之前，学界普遍接受的是“表面积法则”（surface law），该法则认为动物的基础代谢率与其体表面积成正比。体表面积通常与体重的 [math]\displaystyle{ \frac{2}{3} }[/math] 次幂相关，即 [math]S \propto M^{2/3}[/math]。早期研究者通过理论考量和实验观察得出此结论，并认为体表面积是衡量不同大小动物代谢的有效基准。
然而，随着更精确的实验数据和分析方法的出现，克莱伯（Max Kleiber）等人的工作表明，代谢率与体重的 [math]\displaystyle{ \frac{3}{4} }[/math] 次幂关系比与 [math]\displaystyle{ \frac{2}{3} }[/math] 次幂的表面积法则更符合经验结果。虽然表面积法则在一定程度上提供了比较不同物种代谢的便利方法，但克莱伯定律提出的 [math]3/4[/math] 幂律被认为是更准确且具有更深层生物学机制解释的规模法则。[2]
城市增长模型
城市中的克莱伯定律与规模效应
在城市研究中，类似生物学中克莱伯定律的规模法则被广泛观察到，描述了城市不同属性（[math]Y[/math]）如何随人口规模（[math]N[/math]）以幂律形式变化：[math]Y = Y_0 N^\beta[/math]。其中，[math]Y_0[/math] 和 [math]\beta[/math] 是常数。这些幂律关系根据功能分为不同的普适类：[3]
- 超线性缩放（Super-linear scaling）：与财富创造、创新和互动相关的城市属性，其指数 [math]\beta[/math] 大于1 ([math]\beta > 1[/math])。这意味着随着城市人口的增加，这些属性的产出以更快的速度增长，通常 [math]\beta \approx 1.2[/math]。例如，专利产出、个人收入以及新发明等都表现出超线性增长，这反映了城市作为创新中心的集聚效应和回报递增的经济效益。[3]
- 亚线性缩放（Sub-linear scaling）：与基础设施相关的城市属性，其指数 [math]\beta[/math] 小于1 ([math]\beta < 1[/math])。这意味着随着城市人口的增加，基础设施（如道路长度、电缆）的投入增长速度低于人口增长速度，通常 [math]\beta \approx 0.8[/math]。这体现了城市基础设施的规模经济效应，即更大的城市在维持相同服务水平下，人均基础设施消耗更少。[3]
- 线性缩放（Nearly linear scaling）：与家庭相关的变量，其指数 [math]\beta[/math] 接近1。[4]
这些经验观察表明，尽管城市看似复杂，但其平均整体属性可能仅由少数几个关键参数决定。
贝当古模型及其核心假设
路易斯·M·A·贝当古（Luís M. A. Bettencourt）提出了一个统一的理论框架来理解城市如何运作以及城市中社会、空间和基础设施各方面的相互依赖关系。该模型的核心假设基于少数基本原则的局部运作，并预测了城市平均社会、空间和基础设施属性的一系列标度关系，这些关系适用于所有城市系统。[3]
贝当古模型的一个关键见解是，城市并非简单独立的组成部分，而是基础设施、经济和社会等多个层面的交互和整合系统。模型强调了人类互动与合作是城市财富和创新的主要来源。[4]
贝当古模型的核心假设包括以下几个方面：
- 社会网络作为城市功能的基础：
- 假设：城市被视为一个巨大的社会网络，其主要功能（如财富创造、创新）源于个人之间的互动和协作。这些互动在时间和空间上都是有限的。
- 模型的关键在于假设社会互动是城市活动的基本驱动力。社会连接的数量（即人均互动次数）被认为是相对恒定的，或者以特定方式随人口规模增长。创新和财富的产生率与这些社会互动的强度和频率成正比。
- 基础设施网络连接城市居民：
- 假设：城市的基础设施（如道路、电力、通信网络）是为了连接居民，促进物质、能量和信息的流动。这些网络的设计应尽量优化效率和成本，并随着城市人口的增长而扩展。
- 基础设施的成本和维护与网络中的链接数量和长度有关。模型推断，为了服务更多的人口，基础设施的增长速度会低于人口增长速度，从而实现规模经济。这体现在亚线性缩放关系上，例如：
- [math]\displaystyle{ L \propto N^{0.85} }[/math] 其中 [math]L[/math] 代表基础设施（如道路长度），[math]N[/math] 代表人口。这个指数通常接近 [math]\displaystyle{ \frac{5}{6} }[/math]。
- 社会经济活动与人口密度相关：
- 假设：城市中的社会经济活动集中在空间上，并与人口密度相关联。通过集聚，城市能够提高互动效率并降低单位产出的基础设施成本。
- 模型探讨了城市空间结构（例如平均人口密度）如何影响其标度特性。虽然没有直接的单一公式，但这一假设支持了超线性社会经济产出与亚线性基础设施消耗的共存。例如，城市总面积 ([math]A[/math]) 与人口 ([math]N[/math]) 的关系通常呈现亚线性缩放：
- [math]\displaystyle{ A \propto N^{0.83} }[/math] 这表明城市面积的增长速度慢于人口，导致人口密度的增加，从而提高了互动频率。
- 创新和财富创造是社会网络互动的直接结果：
- 假设：城市产生的创新、专利和财富是其内部社会互动和协作的直接函数。这些社会互动并非线性叠加，而是通过网络效应产生超线性回报。
- 与社会经济产出相关的城市属性（如总收入、专利数量、犯罪率）表现出超线性缩放：
- [math]\displaystyle{ Y \propto N^{\beta} }[/math] 其中 [math]Y[/math] 代表社会经济产出，[math]\beta>1[/math]，通常在 1.15 到 1.25 之间。例如： [math]\displaystyle{ \text{Patents} \propto N^{1.27} }[/math] [math]\displaystyle{ \text{Total Wage} \propto N^{1.12} }[/math]
这些核心假设共同构成了一个统一的理论框架，解释了城市作为一个复杂的自组织系统，如何通过社会和物理网络的相互作用，产生普遍的规模法则。[3][5]
城市中多样性与产出的关系
城市的功能多样性（例如专业的多样性）与城市的生产力之间存在紧密联系。研究表明，专业多样性的频率分布呈现出一种普遍的尺度不变形式，适用于所有城市。这种分布是劳动分工和协作在城市社会网络中产生新职业的结果。
多样性不仅可以增强系统的韧性（例如，专业化的城市在历史上表现不佳），更重要的是，它与更高的个体生产力直接相关。这意味着多样性既是规模依赖的系统组织的结果，也是其促进因素。城市通过促进新思想的产生和刺激社会经济发展，展现出与社会经济多样性的紧密关联。[5]
匹配生长机制在城市建模中的应用
在城市建模方面，简单的空间吸引（Spatial Attraction, SA）和匹配生长（matching growth）机制被用于解释城市中人口、道路和经济社会互动的空间分布及其宏观标度法则。
这种模型假设：
- 空间吸引机制：城市中活跃人口（active population, AP，包括居住和工作人口）的空间分布由人口聚集和新区域探索之间的竞争决定。
- 道路网络增长：活跃人口聚集区对社会经济互动的需求驱动着道路网络的增长和扩张。
- 互动促进：道路网络的发展反过来促进了不同区域之间的社会经济互动。
通过这种动态模型，研究者能够成功复现城市中各种元素的空间分布，并解释超线性、亚线性以及近线性总和标度法则的起源。这个框架强调了城市元素在微观层面的相互作用，以及空间分布与总体标度法则之间的关系，为理解城市演化提供了新的途径。[4]
奇点
企业增长模型
企业的规模法则与生长
企业在经济系统中的地位举足轻重，其规模与多种经济指标之间存在着明确的标度关系。与生物体和城市相比，企业在生长模式上展现出独特的特性，并非简单地遵循指数增长，而是呈现出更为复杂的幂律行为。
一项对大量美国和中国上市公司长达数十年数据的分析揭示了企业增长的内在规律。该研究构建了一个统一的标度框架，将企业规模视为决定其各项权衡的关键特征[6]。
- 资产与销售额的亚线性标度：研究发现，企业的销售额（[math]S[/math]）与总资产（[math]A[/math]）之间存在亚线性的幂律关系。这意味着随着企业资产的增加，其销售额的增长速度会相对放缓。这一关系可以表示为：
- [math]\displaystyle{ S \propto A^{\beta} }[/math]
- 其中，经验观察到的指数 [math]\beta[/math] 通常小于1。这种亚线性关系是企业资产随时间呈现幂律增长而非传统指数增长的关键原因[6]。
- 负债与资产的标度关系：负债（[math]L[/math]）与资产（[math]A[/math]）之间的标度关系在不同经济体中可能存在差异。例如，在美国上市公司中，负债与资产呈线性关系，即：
- [math]\displaystyle{ L \propto A^{1.0} }[/math]
- 而在中国上市公司中，则观察到超线性关系：
- [math]\displaystyle{ L \propto A^{1.09} }[/math]
- 尽管指数差异微小，但这种差异对企业的长期增长轨迹和特性具有显著影响，凸显了不同经济制度背景下企业财务结构的独特演化路径[6]。
- 独特的幂函数增长：与生物有机体或城市等通常表现出指数增长不同，企业，尤其是上市公司，其规模随时间往往遵循幂函数增长。这种独特的增长模式反映了企业作为一种复杂的、受内部决策和外部市场力量共同驱动的适应性实体的本质（Zhang et al., 2022）。
吉布莱特假说（Gibrat's Law）
吉布莱特假说，又称“等比例效应法则”，是企业规模分布研究中的一个经典假设，由经济学家罗伯特·吉布莱特于1931年提出。
- 核心内容：该假说认为，在给定时期内，企业的增长率（即规模的等比例变化）与企业的初始规模无关。用公式表示，如果 [math]S_t[/math] 是企业在时间 [math]t[/math] 的规模，[math]g_t[/math] 是其增长率，则：
- [math]\displaystyle{ g_t = \frac{S_{t+1} - S_t}{S_t} }[/math]
- 吉布莱特假说声称 [math]g_t[/math] 的分布独立于 [math]S_t[/math]。
- 推论：如果吉布莱特假说成立，且增长率是独立的随机变量，那么在足够长的时间后，企业规模的分布将趋向于对数正态分布。
- 实证挑战：尽管吉布莱特假说在理论上具有简洁性，但大量的经验研究对其有效性提出了质疑。许多研究发现，企业的增长率并非完全独立于其规模。例如，小型企业往往表现出更高的平均增长率和更大的增长率波动性，这与吉布莱特假说的核心预测相悖。实证文献普遍倾向于拒绝吉布莱特假说，尤其是在考虑包括小型企业在内的广泛企业样本时[7]。
史丹利等人的企业生长研究
H. Eugene Stanley 及其合作者，通过对全球范围内大量上市公司的详细数据进行统计物理学分析，对企业增长动力学提供了深刻的见解，显著地超越了吉布莱特假说的范畴。
- 增长率的幂律分布：Stanley 等人（1996）[8]发现，公司增长率的概率分布并非呈高斯（正态）分布，而是表现出厚尾的幂律分布。这意味着极端增长或收缩事件的发生频率远高于正态分布的预期。这种分布可以用以下形式表示：
- [math]\displaystyle{ P(g) \propto |g|^{-\alpha} }[/math]
- 其中 [math]g[/math] 是增长率，[math]\alpha[/math] 是幂律指数。
- 增长率波动与规模的依赖性：他们的研究进一步揭示，增长率分布的宽度（即波动性）对于非常大的公司而言几乎独立于公司规模。然而，对于小型公司，增长率的波动性则强烈依赖于其规模，通常是规模的负幂律函数。
- [math]\displaystyle{ \sigma(S) \propto S^{-\beta'} }[/math]
- 其中 [math]\sigma(S)[/math] 是规模为 [math]S[/math] 的公司的增长率标准差，[math]\beta'[/math] 是一个正指数。这一发现强调了大型公司和小型公司在增长动力学上的根本差异，大型公司表现出更强的统计稳定性，而小型公司则更具波动性[8]。
企业死亡率
企业死亡率是衡量企业生命周期和存活能力的关键指标，其模式与生物体甚至国家和城市的死亡率模式存在显著差异。
- 恒定的风险率：对超过25,000家北美上市公司在1950年至2009年间数据的全面分析表明，上市公司的死亡率（或称失效率）在较长观察期内呈现出近似恒定的风险率。这意味着，与生物个体的老化过程不同，公司的“死亡”风险并不随其年龄的增长而系统性增加。用生存分析的术语来说，公司的瞬时死亡率函数（hazard rate function）[math]h(t)[/math] 近似为常数：
- [math]\displaystyle{ h(t) \approx \lambda }[/math]
- 其中 [math]t[/math] 是公司年龄，[math]\lambda[/math] 是常数死亡率。
- 典型半衰期：基于恒定风险率的发现，上市公司的典型半衰期约为十年，并且这一半衰期在不同行业之间具有普遍性。这意味着无论公司属于哪个行业，其在十年内被清算或并购的概率大致相同[9]。
- “死亡”的定义：在企业死亡率的研究中，“死亡”的定义通常涵盖了公司实体通过各种方式从市场上消失的情况，包括但不限于破产清算，更常见且重要的是被其他公司合并或收购。这种广义的“死亡”反映了企业在不断变化的经济环境中适应和重组的能力[9]。
这些研究共同构成了企业规模法则的核心内容，揭示了企业作为复杂经济系统，其增长、波动和寿命所遵循的普遍而深刻的统计规律。
网络社区
活跃度与规模的超线性增长
传统的观点认为，在线活动的总体规模与活跃用户数量呈线性关系。然而，近期研究发现，在许多网络社区中，总活动量（[math]T[/math]）与活跃人口（[math]P[/math]）之间存在着超线性（super-linear）的幂律关系，即：
[math]\displaystyle{ T \propto P^\gamma }[/math]
其中，指数 γ>1。这种现象被称为“加速增长”（accelerating growth），意味着随着网络社区活跃用户数量的增加，其总活动量会以更快的速度增长。这一规律在多种在线活动中被观察到，包括微博（micro-blogging）、新闻投票（news voting）和照片标记（photo tagging）等。
例如，一项研究对新浪微博的数据分析发现，用户的平均关注者数量、总互动（转发、评论等）以及每日发帖量均随活跃用户数量呈现超线性增长[10]。这一发现与城市中的创新和财富创造的超线性规模法则具有异曲同工之处，暗示了在线互动网络中也存在类似“集聚效应”和“回报递增”的机制。
加速增长与规模依赖分布
加速增长的规模法则不仅体现在总活动量的超线性增长上，还与集体人类活动中一种特定的“规模依赖分布”（size-dependent distribution）变化模式相关联。这意味着，随着社区规模的扩大，在线活动（例如，某个特定标签的使用频率、某个话题的讨论热度）的分布模式也会发生系统性变化。
这种规模依赖的分布变化表明，大型网络社区在某些方面的行为可能与小型社区截然不同，不仅仅是简单的线性放大。这可能反映了在更大社区中，信息传播、协同工作或注意力的分配机制发生了质的变化，从而导致了更高的效率或更集中的活动。
网络模型的解释
从细菌到蓝鲸，从森林到城市，这些截然不同的复杂系统都表现出惊人相似的规模法则。因为它们拥有共同的内部结构中：网络。无论是生物的循环系统、植物的维管系统，还是城市的基础设施网络，它们都作为资源分配系统，遵循着一套普适的数学和物理原理。这些原理共同构成了规模法则的统一理论基础 。
匹配增长模型
网络的三大普适原理
尽管不同系统的网络在具体形态上千差万别，但它们都受到三个基本设计原则的约束，这些原则是长期进化选择和优化的结果：
- 空间填充：网络必须无处不在，其分支要延伸至系统所服务的整个体积，确保每一个基本单元（如生物体内的细胞、城市里的住宅）都能获得资源。例如，人体的毛细血管网络必须抵达并服务于每一个细胞。
- 终端单元的恒定性：网络的最小终端单元（如毛细血管、树叶的叶柄、住宅的水龙头）的尺寸和物理特性在很大程度上是固定不变的，不随整个系统的规模而改变。一头鲸的毛细血管和一只老鼠的毛细血管在尺寸上基本相同。这种恒定性是进化“节约”的结果，它允许系统通过重组现成的模块化构件来扩大规模
- 优化：网络经过进化，其性能被优化以实现效率最大化。在生物学中，这意味着以最小的能量代价来分配资源。例如，循环系统的结构进化到能让心脏以最小的功率输出将血液泵送到全身，从而将更多的能量留给繁殖等关乎“达尔文适应度”的活动。
分形几何与生命的第四维
这三大原理共同塑造了网络的几何形态——分形。分形是一种在不同尺度上展现出相似模式的几何结构，具有自相似性。一棵树的树枝结构是经典的分形例子：每一根大树枝分叉出的形态都像是整棵树的缩小版。
生物网络的分形几何结构是其高效实现空间填充和资源分配的关键。更重要的是，它从根本上解释了生物学中普遍存在的[math]\displaystyle{ \frac{1}{4} }[/math]次幂规模法则的起源。一个生活在三维欧几里得空间中的生物体，其内部的分形网络在分配资源时，其有效维度超越了三维。这些网络的褶皱和分支极大地增加了其表面积，使其能够像一个更高维度的物体一样运作。这种由分形几何赋予的“额外维度”，使得生物体仿佛生活在“第四维”空间中。正是这个“第四维”，导致了标度指数从经典几何预测的[math]\displaystyle{ \frac{1}{3} }[/math]或[math]\displaystyle{ \frac{2}{3} }[/math]转变为普适的[math]\displaystyle{ \frac{1}{4} }[/math]（及其倍数）。简而言之，生命通过进化出分形网络，巧妙地利用了额外的维度来优化其生存策略。
其他规模法则
规模法则的普适性不仅体现在自然界和城市系统中，也开始在人工智能等新兴复杂系统中显现。这些规律揭示出系统在“变大”过程中，其性能、效率或功能呈现出幂律式的非线性增长或涌现行为。以下介绍大语言模型中的规模法则及AI演化过程中的规模现象。
大语言模型
训练阶段的规模法则（Training‑time Scaling Laws）
- OpenAI的研究表明，语言模型在无监督训练中的困惑度（即交叉熵损失）随着模型参数规模N、训练数据量D和训练计算量C的增加呈幂律下降关系。这一趋势在跨越七个数量级的范围内保持稳定，并且模型的深度、宽度等架构超参数在大范围内对性能影响很小，只要总体规模足够大。Kaplan等人给出了简单的经验公式来描述这种关系，并阐明过拟合出现的条件：如果单独增大模型或数据，收益会进入减益区；只有三要素（参数、数据、算力）同步按比例扩张才能保持高效提升。例如，模型规模每扩大8倍，需相应将数据量增加约5倍才能避免性能瓶颈。另外，训练曲线也呈现可预测的幂律形态，可通过初期走势推断更长训练的最终损失。一个重要结论是：在固定算力下，最优策略是训练较大模型但不必用尽海量数据，提前停止训练。大型模型的样本效率更高，用相对较少的数据和步数即可达到同等损失。这意味着给定计算预算，宜选取尽可能大的模型并训练到尚未收敛即可。
- “Chinchilla”规模法则：Hoffmann等人发现当时许多大型模型严重训练不足，参数规模远超可用的数据规模。通过对70M～16B参数、5亿～5000亿token的400多个Transformer模型实验，他们提出了计算最优的规模配置：模型参数数量与训练语料长度应当同比例扩增。也就是说，在给定总算力预算下，模型大小和训练token数满足[math]\displaystyle{ N_{\text{opt}}(C)\propto C^{0.5} }[/math]，[math]\displaystyle{ D_{\text{opt}}(C)\propto C^{0.5} }[/math]。相比之下，Kaplan等原先的分析得到 [math]\displaystyle{ N\propto C^{0.73} }[/math]、[math]\displaystyle{ D\propto C^{0.27} }[/math]，高估了最优模型规模。据此，Chinchilla团队训练了一个与Gopher相同算力预算的模型——Chinchilla（70亿参数，训练token约1.4万亿，是Gopher数据量的4倍）。结果显示Chinchilla在各项基准上全面超越了更大的Gopher-280B、GPT-3-175B、Jurassic-178B和MT-NLG-530B等模型。例如，在MMLU基准上Chinchilla达到67.5%的平均准确率，比Gopher提高了7个百分点。这一成果证实：在固定算力下，与其训练过大的模型不如按"模型大小×数据量"≈恒定的原则重新分配资源，可用相同算力训练出更小但更优的模型。Chinchilla法则现已成为大型模型预训练的指导原则，许多2023年的新模型设计（如LLaMA等）都遵循了参数规模与语料规模平衡的策略。值得注意的是，当数据上限受制时（如领域数据有限），也有研究探讨"超出Chinchilla最优点"继续训练的缩放规律以及数据质量提升对幂律指数的影响。
推理阶段的规模法则（Post-training & Inference-time Scaling）
训练完成后，在模型推理和应用阶段增加计算量也体现出规模效应。例如，让模型“思考更久”（更多推理步骤或搜索次数）往往能提升性能，这被视为推理时的规模规律：
- 搜索推理：DeepMind的AlphaGo/AlphaZero等展示了测试时计算扩展的威力。AlphaGo的棋力（Elo等级分）随着其每步允许的蒙特卡洛树搜索(MCTS)模拟次数的增加而稳步提升。在AlphaGo Zero中，增加约2倍的搜索预算即可提高约120点Elo，相当于将模型参数和训练翻倍所带来的提升幅度。也就是说，在一定范围内，“2倍推理计算 ≈ 2倍模型规模”对最终性能的贡献是类似的。这体现了一种推理-训练可交换的缩放规律：通过增加部署时的搜索深度，可以在不增加模型复杂度的情况下获得类似效果的性能增益。进一步，在棋类或博弈中可以发现训练与推理的此类折中关系：例如在Hex棋游戏中，增加10倍训练计算量大致相当于增加15倍推理搜索量；在扑克AI Libratus、外交游戏AI Cicero等复杂不完美信息博弈中，加入大规模对局搜索同样显著提高了胜率，其效果与成百上千倍的额外训练相仿。这些案例说明，在博弈决策领域存在明确的推理计算缩放定律：持续增大推理搜索计算呈现对数线性的收益递增，但性价比逐渐下降。
- 生成式模型（代码合成与问题求解）：大语言模型在推理阶段通过多样采样、程序搜索等也展现幂律提升。DeepMind的AlphaCode在算法编程挑战中引入了候选生成+测试的扩展推理策略，结果模型随生成候选程序数量（即推理搜索时间）的增加，解决问题的成功率近似呈对数线性上升。换言之，给定一个固定规模的模型，让它尝试越多方案，其性能提升遵循平滑的幂律趋势。类似地，OpenAI的代码生成模型Codex和后续的GPT-4等，在增加采样次数、增加思考步骤（如Chain-of-Thought连贯推理）时，问题解答准确率持续提高。2024年OpenAI发布的o1报告也总结，大模型在数学推理、科学问答、代码调试等场景中，无论通过扩展训练 compute 还是推理 compute，性能都会一致地提升，并给出了多个推理扩展提升性能的例证。总的来说，在推理/部署阶段扩充计算（如更长的推理链、更大的搜索广度或更多函数调用）是一条独立于模型参数的提升途径。这被形式化为推理规模定律：模型性能 [math]\displaystyle{ f }[/math] 随推理计算量 [math]\displaystyle{ C_{test} }[/math] 增加而改进，并往往呈现出次幂指数递减的曲线，即开始阶段收益显著，逐步趋于饱和。实际意义是，在应用中可以通过增加推理计算来换取性能（如用思维链、多轮推理弥补模型规模不足），二者存在可预测的折中关系。
断裂式规模法则（Broken Neural Scaling Laws, BNSL）
Caballero等人提出“平滑断裂的幂律”（smoothly broken power law）来更精确地拟合神经网络的缩放行为。传统Scaling Law假设单一幂指数的连续下降，但大量实证发现，性能提升常随规模出现阶段性拐点，在不同尺度区间遵循不同的幂指数。Caballero等用一个通用公式描述这种分段幂律现象：[math]\displaystyle{ y = a + (bx^{-c_0}) \prod_{i=1}^{n} (1+(x/d_i)^{1/f_i})^{-c_i f_i} }[/math] 其中 [math]\displaystyle{ x }[/math] 是规模因子（如参数N、数据D或计算量C），[math]\displaystyle{ y }[/math] 是对应的性能指标（如预测误差或奖励）。这一公式由若干段幂律曲线通过光滑的过渡相连：在远"断点" [math]\displaystyle{ d_i }[/math] 的区域，[math]\displaystyle{ (x/d_i)^{1/f_i}\ll 1 }[/math]，第 [math]\displaystyle{ i }[/math] 段项近似为1，不影响整体指数；当 [math]\displaystyle{ x }[/math] 接近或超过某个 [math]\displaystyle{ d_i }[/math] 时，该项逐渐发挥作用，将总体幂指数从 [math]\displaystyle{ c_0 }[/math] 平滑地改变为 [math]\displaystyle{ c_0+c_i }[/math]。在对数-对数坐标系中，这表现为折线般的多段斜率，用"break"（断点）标志幂律指数的改变。因此相较单一幂律模型，BNSL能拟合"分段直线+过渡弧"的性能曲线。
实验上，他们发现广泛的场景都符合这一断裂式规律，包括：大规模视觉模型、语言模型、音频和视频模型，扩散生成模型，多模态融合模型，对比学习模型，迁移学习，强化学习（单智能体和多智能体）、出圈泛化（OOD）、不确定度校准、提示范式（zero-shot/prompt）下的性能，甚至AI对齐和能力涌现等现象。例如，有些任务在小模型阶段提升很快（陡峭幂律），但达到中等规模后提升速率显著下降（幂指数变小），再进一步扩展规模又可能出现新的提升阶段。BNSL提供了对这些多阶段行为的刻画，每个线段对应不同的机制或瓶颈主导阶段。总的来说，断裂式规模法则揭示了非单调的扩展效益：性能随规模增长并非始终遵循同一速率，而是可能经历多个幂律阶段。这一发现对预测更大规模模型的收益具有重要意义——简单外推单一幂律可能高估或低估实际效果，需要考虑潜在的拐点和段内规律。
微调阶段的规模法则（Finetuning Scaling Laws）
大模型预训练完毕后，在下游任务上微调同样存在可预测的缩放行为。典型研究关注：给定预训练模型规模，微调数据集大小如何影响下游性能，以及初始模型规模与所需微调数据的关系：
Hernandez等人研究了无监督预训练模型在新分布上的迁移缩放规律。他们比较了两种情形：（a）从头在目标数据集上训练不同大小的模型，（b）先用海量通用语料预训练模型，再微调相同的数据。结果发现，大模型在固定的小数据集上从头训练会很快进入数据饱和，损失不再显著下降；而经过预训练的模型微调时，虽然数据有限但性能提升的斜率仅是减小而非归零。也就是说，预训练赋予模型一定的通用能力，使其在低数据下仍能持续改进。为量化预训练贡献，Hernandez等人定义了“等效转移数据”指标：即观测微调后某模型达到的损失，假设没有预训练、仅靠该模型从零训练，需要多少目标数据才能达到同样损失。他们发现，在低数据微调（目标数据不到满足无限数据性能的10%）的情况下，这个等效数据量与模型参数数和微调数据量呈幂律关系：
[math]\displaystyle{ D_{\text{effective}} \approx K \times N^{\alpha} D_{\text{finetune}}^{\beta} }[/math]
其中 [math]\displaystyle{ N }[/math] 为预训练模型参数，[math]\displaystyle{ D_{\text{finetune}} }[/math]为微调数据量，[math]\displaystyle{ \alpha,\beta }[/math]为对应的幂指数。[math]\displaystyle{ \alpha }[/math]可理解为模型的一般性指标，[math]\displaystyle{ \beta }[/math]反映目标分布相对预训练分布的距离。实证结果显示：预训练相当于将微调数据量放大了一个倍数（例如对40M参数的Transformer在Python代码上的微调，3e5字符相当于从头训练需要3e8字符，即预训练起到了1000倍数据的效果）。这种转移增益随着微调数据的减少而变得更加显著：数据越少，预训练带来的等效数据放大倍数越大。结论是，下游任务的性能可以用参数、微调数据和算力三要素的幂律来预测，和总体性能的缩放类似。这解释了为何更大的预训练模型在小数据任务上表现更佳——它们相当于提供了更多"虚拟样本"。这一规律也指导实践：面对数据稀缺任务，使用更大的预训练模型往往比增加数据更有效；反之，若下游数据充足，小模型通过更多数据也可弥补一部分差距。此外，Gordon等人研究发现在机器翻译等场景也验证了类似的参数-数据缩放律，并探讨了模型初始规模与微调效果的关系，如模型越大，微调曲线越陡峭、上限越高。
记忆事实的规模法则（Fact-memorization Scaling Laws）
大模型在训练语料中记忆事实知识（如百科知识、三元组关系）的能力如何随规模和训练过程变化？近期研究给出了定量分析：
- Lu等人对这项工作专门测量了LLM对原始事实（三元组知识）的记忆容量随模型大小和训练时间的缩放规律。作者定义“事实容量”为模型能无误记忆的最大事实条目数量，并使用Wikidata知识库构建评测（键-属性-值三元组形式的原子事实）。实验发现，在相同训练epoch下，模型的事实容量几乎正比于参数规模：参数数量越大，能记住的不同事实就越多，表现为容量随N线性增长。另一方面，增加训练epoch对记忆容量的提升呈饱和趋势：最初几个epoch容量增长明显，但之后趋于平稳，符合负指数衰减的规律。也就是说，训练轮数增加对新事实的记忆收益递减，长期来看容量接近于一个上限。根据拟合的规模公式，若想在100轮训练内让模型记住Wikidata中全部约1.5亿条事实三元组，大致需要一个1000B（千亿）非嵌入参数规模的模型。这一数量级远超当前模型，表明靠参数记忆所有公共知识在通用预训练中几乎不可能实现。因此该研究建议应结合检索等外部知识，以弥补参数记忆能力的不足。除了总体容量，他们还考察了模型对不同类型事实的记忆行为：发现模型难以用统一方式兼容存储冗余表述的事实，除非它们在训练中以相同方向和句式出现；模型更偏好记忆高频和难度大的事实，而对低频事实的记忆容易被后续训练的新事实覆盖干扰。这些现象反映出LLM记忆的非高效性：对于重复知识没有自动压缩归纳，后学习的内容可能覆盖先前学到的细节。上述发现阐明了LLM记忆内部的容量限制和特性：纯靠增大模型或训练轮数，记忆能力存在天花板和不均衡，需借助混合技术提升可靠性。
- Morris等人，来自Meta/Google等的最新合作研究，从信息论角度度量了LLM的记忆容量上限。他们通过让模型在随机比特串数据集上训练，剥除了任何可泛化模式，以纯粹考察模型能记住所含信息的多少。结果估计：GPT系列模型每个参数大约只能记忆3.6比特的信息。换言之，一个100亿参数的模型其权重所能硬记的总信息量在几十亿比特量级（约几百MB）。这一容量密度在不同模型规模、深度、精度下几乎是定值（全精度模型略高，可达3.83 bits/param）。更有意思的是，他们发现增加训练数据并不会提高模型总记忆容量，反而模型会将固定的容量分配到更多样本上，使单个样本被记住的概率降低。也就是说，模型有一个固定的“记忆槽”，训练数据越多，这个槽在每条数据上的分摊就越少。当数据规模远超模型容量时，模型被迫转向泛化模式来最小化损失，反而减少了逐字记忆（这一现象与之前观察到的“双重下降”（double descent）相符，当数据量超过模型记忆阈值时，训练损失曲线会二次上升然后下降，显示模型从纯记忆过渡到泛化）。因此，他们将模型的总记忆量视为一种固定资源：若想提升模型记忆库，主要途径是增加参数而非无限扩充训练集。这一研究在理论上支持了Lu等对事实记忆饱和的担忧，并提出了新视角的指标（bits per parameter）来衡量模型存储知识的效率上界。对于隐私和版权方面，它也意味着大型模型并不会简单地因为读入更多版权数据就机械记住更多内容，每个参数能容纳的信息量有限且随着数据增多而被冲淡。总之，大模型对训练语料的记忆遵循一定的规模规律和上限：存在容量饱和和单位参数收益递减，这提示我们需要在记忆与泛化间权衡，并借助更大模型或外部知识库来突破单模型的记忆极限。
参数密度时间法则（Densing Law）
通常提到的Scaling Law是横向比较不同规模模型的性能，本节讨论的是纵向随时间的演进：随着研究进展，同样规模的模型效果在提升。这被称为参数密度-时间法则，或“Densing Law”。
Xiao等人对这项工作引入了“容量密度”的新度量来衡量不同时期模型的效率提升。他们选取一系列参考基准模型，通过Scaling Law预测这些参考模型在不同参数规模下的性能曲线，然后定义任意目标模型的“有效参数量”：即让参考模型达到目标模型同等性能所需的参数规模。目标模型的容量密度则定义为其有效参数量与其实际参数量之比。直观地说，容量密度越高，表示模型“越高效”——用较少参数实现了其它模型更多参数才能达到的性能。分析近年开放的基础LLM（如GPT、LLaMA等）发现，模型的容量密度随时间呈指数级提升。具体而言，在若干通用基准上的拟合显示：容量密度大约每3个月翻一倍。也就是说，业界每季度左右就涌现出新模型，将单位参数的性能推进到新的水平。这一定律被称为“Densing”（意为变得更密集），揭示大模型并非简单地通过增加参数在变强，而且每个参数的含义变得更“有用”。例如，根据这一经验趋势，可以预期约一年半（18个月）后问世的新模型，即使参数规模只有当前顶尖模型的几十分之一，其性能可能相当于当今参数百亿级模型。正如摩尔定律之于硬件，Densing Law刻画了AI模型效率的提升轨迹。论文指出，这反映了算法、架构、训练方法和数据质量的持续改进：新模型通过更好的设计“榨取”了每个参数更多的能力。因此，未来LLM的发展不光在于绝对规模膨胀，也在于提高容量密度——让较小模型达到过去大模型才能企及的效果。这一规律对模型部署很有意义：如果趋势继续，一段时间后小模型就能完成当前大模型的任务，从而降低推理成本。这也提示研究重点应放在提升参数效率，如更好的训练损失、更优秀的优化和架构，以延续这种指数提升的势头。
其他方向的规模规律
- 低精度训练的缩放规律：Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型，分别使用不同位宽（如FP32、FP16、Int8等）来表示权重、激活和KV缓存，并测量精度变化对损失的影响 。结果表明，可以通过引入"有效参数数量"的概念，将数值精度的影响纳入规模定律的框架中。具体做法是定义 [math]\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }[/math]，其中 [math]\displaystyle{ N }[/math] 为实际参数数，[math]\displaystyle{ P }[/math]为有效精度位数，[math]\displaystyle{ \gamma }[/math]是拟合常数。这个公式表示，用低 [math]\displaystyle{ P }[/math] 位精度训练时，模型的有效参数量低于实际参数——好似只有 [math]\displaystyle{ N_{\text{eff}} }[/math] 个高精度参数在发挥作用。随着精度 [math]\displaystyle{ P }[/math] 增加，[math]\displaystyle{ N_{\text{eff}} }[/math] 按指数逼近 [math]\displaystyle{ N }[/math]（精度无限高时恢复全性能）。该规律揭示：降低训练精度会以指数速度损耗模型容量，每减少一位精度，模型可表达的信息量并非线性降低，而是按 [math]\displaystyle{ e^{-1/\gamma} }[/math] 比例缩水。实验中，低精度训练的模型相当于有效参数变少，因此最终损失变高。例如，用FP16训练可能相当于只有~90%的参数在发挥作用；用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践：在接受些微性能损失的情况下，可用低精度来换取内存和算力优势，同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度：他们发现，如果在高精度下完成训练，再用极低精度推理，模型在过度训练（远超收敛）的情况下对推理精度降低更具鲁莽性。总之，精度缩放规律将模型容量视为精度的函数，表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现，其关系遵循可预测的指数规律。
- 多模态任务的规模规律：越来越多证据表明，多模态模型（同时处理文本、图像、音频等的模型）也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设，并通过实验验证：这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型，其缩放行为与纯文本LLM相似。具体而言，在给定算力下，多模态模型的验证集损失同样随总计算量 [math]\displaystyle{ C }[/math] 近似按幂律降低；而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力，这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响，比如图像数据可能使最优参数-数据比发生轻微偏移，但总体趋势不变。他们的实验还比较了多模态融合的不同架构，发现无论是早期融合（直接将视觉token和文本token一起喂入Transformer）还是晚期融合（分别编码后再合并），当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动，与单模态情况遵循同类规律，而不是取决于特定融合策略。此外，在计算机视觉领域，Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明：图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出：ImageNet上的最低错误率 [math]\displaystyle{ L_{\min} }[/math] 可用公式 [math]\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }[/math] 拟合（其中 [math]\displaystyle{ C }[/math] 是以TPU天为单位的计算量），显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似（只是指数和常数不同）。再如OpenAI的CLIP模型在跨模态对比学习中，其图文匹配精度也随着模型和数据扩大而提升，且当数据足够多时，小模型与大模型的差距减小，符合典型的缩放曲线。总的来说，无论是语言、视觉，还是多模态联合任务，规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异，但"更大更好，且收益递减"是通用趋势。值得一提的是，一些最新研究开始探索打破常规幂的方法，例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果，从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益，看是否改变了幂律指数或者扩展了线性段长度。总体而言，多模态和特殊训练策略并未推翻规模法则，反而延展了其适用范围和内涵：规模仍然是驱动AI性能的核心因素之一，其影响可以被刻画和预测，只是在不同情境下呈现出丰富的阶段性和细微差异。
参考文献
https://ar5iv.labs.arxiv.org/html/2001.08361
https://arxiv.org/html/2503.04715v1
https://arxiv.org/abs/2001.08361
https://arxiv.org/abs/2203.15556
https://arxiv.org/abs/2206.07682
https://arxiv.org/abs/2005.14165
- ↑ 1.0 1.1 1.2 Whitfield, J. (1922). In the beat of a heart: life, energy, and the unity of nature. National Academies Press.
- ↑ West, G. B., Brown, J. H., & Enquist, B. J. (2001). A general model for ontogenetic growth. Nature, 413(6856), 628-631.
- ↑ 3.0 3.1 3.2 3.3 3.4 Bettencourt, L. M. (2013). The origins of scaling in cities. science, 340(6139), 1438-1441.
- ↑ 4.0 4.1 4.2 Li, R., Dong, L., Zhang, J., Wang, X., Wang, W. X., Di, Z., & Stanley, H. E. (2017). Simple spatial scaling rules behind complex cities. Nature communications, 8(1), 1841.
- ↑ 5.0 5.1 Bettencourt, L. M., Samaniego, H., & Youn, H. (2014). Professional diversity and the productivity of cities. Scientific reports, 4(1), 5393.
- ↑ 6.0 6.1 6.2 Zhang, J., Kempes, C. P., Hamilton, M. J., & West, G. B. (2021). Scaling laws and a general theory for the growth of companies. arXiv preprint arXiv:2109.10379.
- ↑ Santarelli, E., Klomp, L., & Thurik, A. R. (2006). Gibrat’s law: An overview of the empirical literature. Entrepreneurship, growth, and innovation: The dynamics of firms and industries, 41-73.
- ↑ 8.0 8.1 Stanley, M. H., Amaral, L. A., Buldyrev, S. V., Havlin, S., Leschhorn, H., Maass, P., ... & Stanley, H. E. (1996). Scaling behaviour in the growth of companies. Nature, 379(6568), 804-806.
- ↑ 9.0 9.1 Daepp, M. I., Hamilton, M. J., West, G. B., & Bettencourt, L. M. (2015). The mortality of companies. Journal of the Royal Society Interface, 12(106), 20150120.
- ↑ Wu, L., & Zhang, J. (2011). Accelerating Growth and Size-dependent Distribution of Collective Human Activities Online. arXiv preprint arXiv:1104.0742.
https://en.wikipedia.org/wiki/Neural_scaling_law
https://arxiv.org/abs/2102.01293
https://ar5iv.labs.arxiv.org/html/2102.01293
https://arxiv.org/html/2406.15720v1
https://ar5iv.labs.arxiv.org/html/2505.24832