| 第1行： |
第1行： |
| − | 介绍
| |
| | | | |
| − | '''规模法则'''（Scaling Laws）是指描述复杂系统中各种可测量特性如何随系统规模变化而系统性地、可预测地变化的数学关系。这些法则通常表现为幂律形式，揭示了从生命体到城市、公司乃至人工智能等不同尺度系统在结构、功能和动态行为上所遵循的普遍性规律。规模法则的研究不仅有助于我们理解万物生长的逻辑，更对预测系统行为、优化设计、评估可持续性以及探索新兴科技（如大型语言模型）的演化具有深远意义。
| |
| − | == 历史 ==
| |
| − |
| |
| − | ==== 伽利略的贡献 ====
| |
| − | 对生物体尺寸限制的科学思考可以追溯到17世纪初的伽利略。他率先从物理学角度探讨了生物体尺寸的极限问题，质疑为何动物、树木或建筑物不能被无限放大。伽利略的观点基于两个基本的几何学原理：
| |
| − |
| |
| − | 首先，他认识到当一个物体按比例放大时，其表面积与线性尺寸的平方（[math]\displaystyle{ L^2 }[/math]）成正比，而其体积（以及假设密度不变时的重量）则与线性尺寸的立方（[math]\displaystyle{ L^3 }[/math]）成正比。这意味着体积的增长速度远快于表面积。
| |
| − |
| |
| − | 其次，伽利略指出，支撑结构（如骨骼或柱子）的强度与其横截面积（[math]\displaystyle{ L^2 }[/math]）成正比，而它们需要支撑的重量则与其体积（[math]\displaystyle{ L^3 }[/math]）成正比 。这种面积与体积增长速率的差异，导致了随着物体尺寸的增加，其重量的增长速度远超其结构强度的增长速度。因此，如果简单地将一个设计按比例放大，它最终会因自身重量而崩塌。这一原理解释了为何现实中不存在像哥斯拉那样由与普通生物相同材料构成的巨型生物，也解释了为何昆虫的体型受到限制。
| |
| − |
| |
| − | === 渊源 ===
| |
| − |
| |
| − | === 异速生长 ===
| |
| − | “异速生长”（allometry）一词由朱利安·赫胥黎（Julian Huxley）在1932年提出，用以描述在生物体生长过程中以及在不同体型的物种之间，身体各部分的比例如何相对于整体体型而变化 。异速生长表明，生物体的不同部分通常以不同的速率进行规模缩放。例如，随着动物体型的增大，其四肢可能会变得不成比例地更粗壮（相对于长度而言呈现正异速生长），以支撑增加的体重，这正是伽利略关于强度与重量关系的直接体现。一个具体的例子是，树干的半径随树木质量的[math]\displaystyle{ \frac{3}{8} }[/math]次幂变化，而其长度则随质量的[math]\displaystyle{ \frac{1}{4} }[/math]次幂变化，这导致大型树木拥有更为粗壮的树干。
| |
| − |
| |
| − | 异速生长关系通常表示为幂律形式：[math]\displaystyle{ y = kx^a }[/math]
| |
| − |
| |
| − | 在所有异速生长关系中，最著名也最根本的或许是克莱伯定律（Kleiber's Law）。1932年，生物学家马克斯·克莱伯（Max Kleiber）发现，广谱动物的基础代谢率（B），即维持生命所需的基本能量消耗速率，与其体重（M）之间遵循普适的幂律关系[math]\displaystyle{ B \propto M^{3/4} }[/math]。
| |
| − |
| |
| − | 克莱伯定律的亚线性（sublinear）特征（指数小于1）揭示了生物界普遍存在的“规模经济”。体型越大的动物，其单位体重的能量消耗效率越高。例如，一头大象的体重约是老鼠的10000倍，但其代谢率仅为老鼠的1000倍。这意味着，平均而言，大象的每个细胞的代谢速率只有老鼠细胞的十分之一。这种代谢节奏的系统性放缓，决定了整个“生命的节奏”。几乎所有与时间相关的生命史特征，都与这个“4”的倍数相关。例如，动物的寿命与体重的[math]\displaystyle{ \frac{1}{4} }[/math]次幂成正比，而心率则与体重的[math]\displaystyle{ -\frac{1}{4} }[/math]次幂成正比。这两个看似独立的法则结合在一起，产生了一个结论：所有哺乳动物，从只能活几年的鼩鼱到能活75岁的大象，其一生中的心跳总次数是恒定，大约为15亿次 。这表明，生命的节奏——从生长、成熟到死亡——在根本上是由其规模决定的。<sup data-turn-source-index="1" class="superscript"></sup>
| |
| − |
| |
| − | == 总体介绍 ==
| |
| − |
| |
| − | === 生物城市企业国家网络社区 ===
| |
| − |
| |
| − | === 克莱伯定律 ===
| |
| − |
| |
| − | == 规模法则与动力学 ==
| |
| − |
| |
| − | === 匹配增长模型 ===
| |
| − |
| |
| − | === 城市增长模型 ===
| |
| − |
| |
| − | === 企业增长模型 ===
| |
| − |
| |
| − | === 奇点 ===
| |
| − |
| |
| − | == 网络模型的解释 ==
| |
| − | 从细菌到蓝鲸，从森林到城市，这些截然不同的复杂系统都表现出惊人相似的规模法则。因为它们拥有共同的内部结构中：网络。无论是生物的循环系统、植物的维管系统，还是城市的基础设施网络，它们都作为资源分配系统，遵循着一套普适的数学和物理原理。这些原理共同构成了规模法则的统一理论基础 。
| |
| − |
| |
| − | === 网络的三大普适原理 ===
| |
| − | 尽管不同系统的网络在具体形态上千差万别，但它们都受到三个基本设计原则的约束，这些原则是长期进化选择和优化的结果：
| |
| − |
| |
| − | # '''空间填充：'''网络必须无处不在，其分支要延伸至系统所服务的整个体积，确保每一个基本单元（如生物体内的细胞、城市里的住宅）都能获得资源。例如，人体的毛细血管网络必须抵达并服务于每一个细胞。
| |
| − | # '''终端单元的恒定性：'''网络的最小终端单元（如毛细血管、树叶的叶柄、住宅的水龙头）的尺寸和物理特性在很大程度上是固定不变的，不随整个系统的规模而改变。一头鲸的毛细血管和一只老鼠的毛细血管在尺寸上基本相同。这种恒定性是进化“节约”的结果，它允许系统通过重组现成的模块化构件来扩大规模
| |
| − | # '''优化：'''网络经过进化，其性能被优化以实现效率最大化。在生物学中，这意味着以最小的能量代价来分配资源。例如，循环系统的结构进化到能让心脏以最小的功率输出将血液泵送到全身，从而将更多的能量留给繁殖等关乎“达尔文适应度”的活动。
| |
| − |
| |
| − | === 分形几何与生命的第四维 ===
| |
| − | 这三大原理共同塑造了网络的几何形态——分形。分形是一种在不同尺度上展现出相似模式的几何结构，具有自相似性。一棵树的树枝结构是经典的分形例子：每一根大树枝分叉出的形态都像是整棵树的缩小版。
| |
| − |
| |
| − | 生物网络的分形几何结构是其高效实现空间填充和资源分配的关键。更重要的是，它从根本上解释了生物学中普遍存在的[math]\displaystyle{ \frac{1}{4} }[/math]次幂规模法则的起源。一个生活在三维欧几里得空间中的生物体，其内部的分形网络在分配资源时，其有效维度超越了三维。这些网络的褶皱和分支极大地增加了其表面积，使其能够像一个更高维度的物体一样运作。这种由分形几何赋予的“额外维度”，使得生物体仿佛生活在“第四维”空间中。正是这个“第四维”，导致了标度指数从经典几何预测的[math]\displaystyle{ \frac{1}{3} }[/math]或[math]\displaystyle{ \frac{2}{3} }[/math]转变为普适的[math]\displaystyle{ \frac{1}{4} }[/math]（及其倍数）。简而言之，生命通过进化出分形网络，巧妙地利用了额外的维度来优化其生存策略。
| |
| − |
| |
| − | == 其他规模法则 ==
| |
| − | 规模法则的普适性不仅体现在自然界和城市系统中，也开始在人工智能等新兴复杂系统中显现。这些规律揭示出系统在“变大”过程中，其性能、效率或功能呈现出幂律式的非线性增长或涌现行为。以下介绍大语言模型中的规模法则及AI演化过程中的规模现象。
| |
| − |
| |
| − | === 大语言模型 ===
| |
| − | 大型语言模型如 GPT、BERT、PaLM、Chinchilla等，基于 Transformer 架构，具备亿至千亿级参数量，并通过下一个token的预测来进行预训练。其在多个自然语言处理（NLP）任务上展现出跨任务、跨领域的强泛化能力。
| |
| − |
| |
| − | ==== Parameter–Loss Power Law ====
| |
| − | Kaplan 等人在 2020 年提出，大语言模型的预测误差（例如交叉熵损失）与模型参数量 [math]\displaystyle{ N }[/math]、训练数据量 [math]\displaystyle{ D }[/math] 之间呈现出如下幂律关系：
| |
| − |
| |
| − | [math]\displaystyle{ L(N, D) = A N^{-\alpha} + B D^{-\beta} + L_\infty }[/math]
| |
| − |
| |
| − | 其中：
| |
| − |
| |
| − | * [math]\displaystyle{ \alpha \approx 0.076 }[/math]， [math]\displaystyle{ \beta \approx 0.095 }[/math]；
| |
| − | * [math]\displaystyle{ L_\infty }[/math] 是误差下界；
| |
| − | * 显示出收益递减，且 [math]\displaystyle{ \alpha < \beta }[/math]，说明扩大模型参数比单纯增加数据更有效。
| |
| − |
| |
| − | ==== Chinchilla Scaling ====
| |
| − | Hoffmann 等人在 2022 年发现，在总计算预算 [math]\displaystyle{ C }[/math] 固定的情况下，最优策略是使模型参数 [math]\displaystyle{ N }[/math] 和训练数据量 [math]\displaystyle{ D }[/math] 成线性比例：
| |
| − |
| |
| − | [math]\displaystyle{ N^\ast \propto D }[/math]
| |
| − |
| |
| − | [math]\displaystyle{ C \approx 6 N^\ast D }[/math]
| |
| − |
| |
| − | Chinchilla 模型（70B 参数）遵循此定律，仅用 GPT-3 同级的算力，却在 MMLU 等 29 项任务中超越了参数更多的 Gopher（280B）和 GPT-3（175B）。
| |
| − |
| |
| − | ==== 涌现能力 ====
| |
| − | <nowiki>大语言模型在参数超过某一临界值 [math]\displaystyle{ N_{\text{crit}} }[/math] 后，会突然展现出此前未具备的能力，称为</nowiki>涌现能力（Emergent Abilities）。其概率可用逻辑斯蒂函数建模：
| |
| − |
| |
| − | <nowiki>[math]\displaystyle{ P_{\text{success}}(N) \approx \frac{1}{1 + e^{-\kappa (\log N - \log N_{\text{crit}})} } }[/math]</nowiki>
| |
| − |
| |
| − | 这类能力包括：
| |
| − |
| |
| − | * zero-shot / few-shot 学习；
| |
| − | * 算术推理、代码生成、逻辑判断等；
| |
| − | * 性能在跨过特定规模后发生跳跃，无法通过小模型外推预测。
| |
| − |
| |
| − | === AI的演化 ===
| |
| − | 人工智能的发展历程也体现出典型的规模法则特征。
| |
| − |
| |
| − | 语言模型参数的增长可用指数函数描述：
| |
| − |
| |
| − | [math]\displaystyle{ N(t) \approx N_0 e^{\lambda t}, \quad \lambda \approx 0.35 \ \text{(year}^{-1}) }[/math]
| |
| − |
| |
| − | 每一技术周期内，主流性能指标误差都以幂律方式随 [math]\displaystyle{ N }[/math] 与 [math]\displaystyle{ D }[/math] 下降。这种指数级资源增长 + 幂律性能提升的组合，构成AI技术发展的主要。
| |
| − |
| |
| − | == 参考文献 ==
| |
| − | https://ar5iv.labs.arxiv.org/html/2001.08361
| |
| − |
| |
| − | https://arxiv.org/html/2503.04715v1
| |
| − |
| |
| − | https://arxiv.org/abs/2001.08361
| |
| − |
| |
| − | https://arxiv.org/abs/2203.15556
| |
| − |
| |
| − | https://arxiv.org/abs/2206.07682
| |
| − |
| |
| − | https://arxiv.org/abs/2005.14165
| |