558
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： − == 历史 ==+ − ==== 伽利略的贡献 ====+ 第11行：
第11行： − === 渊源 ===+ − === 异速生长 ===+ 第22行：
第22行： − == 总体介绍 ==+ − === 生物城市企业国家网络社区 ===+ − === 克莱伯定律 ===+ − == 规模法则与动力学 ==+ − === 生物增长模型 ===+ − === 城市增长模型 ===+ − === 企业增长模型 ===+ − == 网络模型的解释 ==+ − === 网络的三大普适原理 ===+ 第48行：
第48行： − === 分形几何与生命的第四维 ===+ − == 其他规模法则 ==+ − === 大语言模型 ===+ − ==== Parameter–Loss Power Law ====+ 第70行：
第70行： − ==== Chinchilla Scaling ====+ 第79行：
第79行： − ==== 涌现能力 ====+ 第90行：
第90行： − == 参考文献 ==+
无编辑摘要
'''规模法则'''（Scaling Laws）是指描述复杂系统中各种可测量特性如何随系统规模变化而系统性地、可预测地变化的数学关系。这些法则通常表现为幂律形式，揭示了从生命体到城市、公司乃至人工智能等不同尺度系统在结构、功能和动态行为上所遵循的普遍性规律。规模法则的研究不仅有助于我们理解万物生长的逻辑，更对预测系统行为、优化设计、评估可持续性以及探索新兴科技（如大型语言模型）的演化具有深远意义。
'''规模法则'''（Scaling Laws）是指描述复杂系统中各种可测量特性如何随系统规模变化而系统性地、可预测地变化的数学关系。这些法则通常表现为幂律形式，揭示了从生命体到城市、公司乃至人工智能等不同尺度系统在结构、功能和动态行为上所遵循的普遍性规律。规模法则的研究不仅有助于我们理解万物生长的逻辑，更对预测系统行为、优化设计、评估可持续性以及探索新兴科技（如大型语言模型）的演化具有深远意义。
= 历史 =
== 伽利略的贡献 ==
对生物体尺寸限制的科学思考可以追溯到17世纪初的伽利略。他率先从物理学角度探讨了生物体尺寸的极限问题，质疑为何动物、树木或建筑物不能被无限放大。伽利略的观点基于两个基本的几何学原理：
对生物体尺寸限制的科学思考可以追溯到17世纪初的伽利略。他率先从物理学角度探讨了生物体尺寸的极限问题，质疑为何动物、树木或建筑物不能被无限放大。伽利略的观点基于两个基本的几何学原理：
其次，伽利略指出，支撑结构（如骨骼或柱子）的强度与其横截面积（[math]\displaystyle{ L^2 }[/math]）成正比，而它们需要支撑的重量则与其体积（[math]\displaystyle{ L^3 }[/math]）成正比 。这种面积与体积增长速率的差异，导致了随着物体尺寸的增加，其重量的增长速度远超其结构强度的增长速度。因此，如果简单地将一个设计按比例放大，它最终会因自身重量而崩塌。这一原理解释了为何现实中不存在像哥斯拉那样由与普通生物相同材料构成的巨型生物，也解释了为何昆虫的体型受到限制。
其次，伽利略指出，支撑结构（如骨骼或柱子）的强度与其横截面积（[math]\displaystyle{ L^2 }[/math]）成正比，而它们需要支撑的重量则与其体积（[math]\displaystyle{ L^3 }[/math]）成正比 。这种面积与体积增长速率的差异，导致了随着物体尺寸的增加，其重量的增长速度远超其结构强度的增长速度。因此，如果简单地将一个设计按比例放大，它最终会因自身重量而崩塌。这一原理解释了为何现实中不存在像哥斯拉那样由与普通生物相同材料构成的巨型生物，也解释了为何昆虫的体型受到限制。
== 渊源 ==
== 异速生长 ==
“异速生长”（allometry）一词由朱利安·赫胥黎（Julian Huxley）在1932年提出，用以描述在生物体生长过程中以及在不同体型的物种之间，身体各部分的比例如何相对于整体体型而变化 。异速生长表明，生物体的不同部分通常以不同的速率进行规模缩放。例如，随着动物体型的增大，其四肢可能会变得不成比例地更粗壮（相对于长度而言呈现正异速生长），以支撑增加的体重，这正是伽利略关于强度与重量关系的直接体现。一个具体的例子是，树干的半径随树木质量的[math]\displaystyle{ \frac{3}{8} }[/math]次幂变化，而其长度则随质量的[math]\displaystyle{ \frac{1}{4} }[/math]次幂变化，这导致大型树木拥有更为粗壮的树干。
“异速生长”（allometry）一词由朱利安·赫胥黎（Julian Huxley）在1932年提出，用以描述在生物体生长过程中以及在不同体型的物种之间，身体各部分的比例如何相对于整体体型而变化 。异速生长表明，生物体的不同部分通常以不同的速率进行规模缩放。例如，随着动物体型的增大，其四肢可能会变得不成比例地更粗壮（相对于长度而言呈现正异速生长），以支撑增加的体重，这正是伽利略关于强度与重量关系的直接体现。一个具体的例子是，树干的半径随树木质量的[math]\displaystyle{ \frac{3}{8} }[/math]次幂变化，而其长度则随质量的[math]\displaystyle{ \frac{1}{4} }[/math]次幂变化，这导致大型树木拥有更为粗壮的树干。
克莱伯定律的亚线性（sublinear）特征（指数小于1）揭示了生物界普遍存在的“规模经济”。体型越大的动物，其单位体重的能量消耗效率越高。例如，一头大象的体重约是老鼠的10000倍，但其代谢率仅为老鼠的1000倍。这意味着，平均而言，大象的每个细胞的代谢速率只有老鼠细胞的十分之一。这种代谢节奏的系统性放缓，决定了整个“生命的节奏”。几乎所有与时间相关的生命史特征，都与这个“4”的倍数相关。例如，动物的寿命与体重的[math]\displaystyle{ \frac{1}{4} }[/math]次幂成正比，而心率则与体重的[math]\displaystyle{ -\frac{1}{4} }[/math]次幂成正比。这两个看似独立的法则结合在一起，产生了一个结论：所有哺乳动物，从只能活几年的鼩鼱到能活75岁的大象，其一生中的心跳总次数是恒定，大约为15亿次 。这表明，生命的节奏——从生长、成熟到死亡——在根本上是由其规模决定的。<sup data-turn-source-index="1" class="superscript"></sup>
克莱伯定律的亚线性（sublinear）特征（指数小于1）揭示了生物界普遍存在的“规模经济”。体型越大的动物，其单位体重的能量消耗效率越高。例如，一头大象的体重约是老鼠的10000倍，但其代谢率仅为老鼠的1000倍。这意味着，平均而言，大象的每个细胞的代谢速率只有老鼠细胞的十分之一。这种代谢节奏的系统性放缓，决定了整个“生命的节奏”。几乎所有与时间相关的生命史特征，都与这个“4”的倍数相关。例如，动物的寿命与体重的[math]\displaystyle{ \frac{1}{4} }[/math]次幂成正比，而心率则与体重的[math]\displaystyle{ -\frac{1}{4} }[/math]次幂成正比。这两个看似独立的法则结合在一起，产生了一个结论：所有哺乳动物，从只能活几年的鼩鼱到能活75岁的大象，其一生中的心跳总次数是恒定，大约为15亿次 。这表明，生命的节奏——从生长、成熟到死亡——在根本上是由其规模决定的。<sup data-turn-source-index="1" class="superscript"></sup>
= 总体介绍 =
==生物城市企业国家网络社区 ==
== 克莱伯定律 ==
= 规模法则与动力学 =
== 生物增长模型 ==
== 城市增长模型 ==
===奇点===
===奇点===
== 企业增长模型 ==
= 网络模型的解释 =
从细菌到蓝鲸，从森林到城市，这些截然不同的复杂系统都表现出惊人相似的规模法则。因为它们拥有共同的内部结构中：网络。无论是生物的循环系统、植物的维管系统，还是城市的基础设施网络，它们都作为资源分配系统，遵循着一套普适的数学和物理原理。这些原理共同构成了规模法则的统一理论基础 。
从细菌到蓝鲸，从森林到城市，这些截然不同的复杂系统都表现出惊人相似的规模法则。因为它们拥有共同的内部结构中：网络。无论是生物的循环系统、植物的维管系统，还是城市的基础设施网络，它们都作为资源分配系统，遵循着一套普适的数学和物理原理。这些原理共同构成了规模法则的统一理论基础 。
== 网络的三大普适原理 ==
尽管不同系统的网络在具体形态上千差万别，但它们都受到三个基本设计原则的约束，这些原则是长期进化选择和优化的结果：
尽管不同系统的网络在具体形态上千差万别，但它们都受到三个基本设计原则的约束，这些原则是长期进化选择和优化的结果：
# '''优化：'''网络经过进化，其性能被优化以实现效率最大化。在生物学中，这意味着以最小的能量代价来分配资源。例如，循环系统的结构进化到能让心脏以最小的功率输出将血液泵送到全身，从而将更多的能量留给繁殖等关乎“达尔文适应度”的活动。
# '''优化：'''网络经过进化，其性能被优化以实现效率最大化。在生物学中，这意味着以最小的能量代价来分配资源。例如，循环系统的结构进化到能让心脏以最小的功率输出将血液泵送到全身，从而将更多的能量留给繁殖等关乎“达尔文适应度”的活动。
== 分形几何与生命的第四维 ==
这三大原理共同塑造了网络的几何形态——分形。分形是一种在不同尺度上展现出相似模式的几何结构，具有自相似性。一棵树的树枝结构是经典的分形例子：每一根大树枝分叉出的形态都像是整棵树的缩小版。
这三大原理共同塑造了网络的几何形态——分形。分形是一种在不同尺度上展现出相似模式的几何结构，具有自相似性。一棵树的树枝结构是经典的分形例子：每一根大树枝分叉出的形态都像是整棵树的缩小版。
生物网络的分形几何结构是其高效实现空间填充和资源分配的关键。更重要的是，它从根本上解释了生物学中普遍存在的[math]\displaystyle{ \frac{1}{4} }[/math]次幂规模法则的起源。一个生活在三维欧几里得空间中的生物体，其内部的分形网络在分配资源时，其有效维度超越了三维。这些网络的褶皱和分支极大地增加了其表面积，使其能够像一个更高维度的物体一样运作。这种由分形几何赋予的“额外维度”，使得生物体仿佛生活在“第四维”空间中。正是这个“第四维”，导致了标度指数从经典几何预测的[math]\displaystyle{ \frac{1}{3} }[/math]或[math]\displaystyle{ \frac{2}{3} }[/math]转变为普适的[math]\displaystyle{ \frac{1}{4} }[/math]（及其倍数）。简而言之，生命通过进化出分形网络，巧妙地利用了额外的维度来优化其生存策略。
生物网络的分形几何结构是其高效实现空间填充和资源分配的关键。更重要的是，它从根本上解释了生物学中普遍存在的[math]\displaystyle{ \frac{1}{4} }[/math]次幂规模法则的起源。一个生活在三维欧几里得空间中的生物体，其内部的分形网络在分配资源时，其有效维度超越了三维。这些网络的褶皱和分支极大地增加了其表面积，使其能够像一个更高维度的物体一样运作。这种由分形几何赋予的“额外维度”，使得生物体仿佛生活在“第四维”空间中。正是这个“第四维”，导致了标度指数从经典几何预测的[math]\displaystyle{ \frac{1}{3} }[/math]或[math]\displaystyle{ \frac{2}{3} }[/math]转变为普适的[math]\displaystyle{ \frac{1}{4} }[/math]（及其倍数）。简而言之，生命通过进化出分形网络，巧妙地利用了额外的维度来优化其生存策略。
= 其他规模法则 =
规模法则的普适性不仅体现在自然界和城市系统中，也开始在人工智能等新兴复杂系统中显现。这些规律揭示出系统在“变大”过程中，其性能、效率或功能呈现出幂律式的非线性增长或涌现行为。以下介绍大语言模型中的规模法则及AI演化过程中的规模现象。
规模法则的普适性不仅体现在自然界和城市系统中，也开始在人工智能等新兴复杂系统中显现。这些规律揭示出系统在“变大”过程中，其性能、效率或功能呈现出幂律式的非线性增长或涌现行为。以下介绍大语言模型中的规模法则及AI演化过程中的规模现象。
== 大语言模型 ==
大型语言模型如 GPT、BERT、PaLM、Chinchilla等，基于 Transformer 架构，具备亿至千亿级参数量，并通过下一个token的预测来进行预训练。其在多个自然语言处理（NLP）任务上展现出跨任务、跨领域的强泛化能力。
大型语言模型如 GPT、BERT、PaLM、Chinchilla等，基于 Transformer 架构，具备亿至千亿级参数量，并通过下一个token的预测来进行预训练。其在多个自然语言处理（NLP）任务上展现出跨任务、跨领域的强泛化能力。
===Parameter–Loss Power Law ===
Kaplan 等人在 2020 年提出，大语言模型的预测误差（例如交叉熵损失）与模型参数量 [math]\displaystyle{ N }[/math]、训练数据量 [math]\displaystyle{ D }[/math] 之间呈现出如下幂律关系：
Kaplan 等人在 2020 年提出，大语言模型的预测误差（例如交叉熵损失）与模型参数量 [math]\displaystyle{ N }[/math]、训练数据量 [math]\displaystyle{ D }[/math] 之间呈现出如下幂律关系：
* 显示出收益递减，且 [math]\displaystyle{ \alpha < \beta }[/math]，说明扩大模型参数比单纯增加数据更有效。
* 显示出收益递减，且 [math]\displaystyle{ \alpha < \beta }[/math]，说明扩大模型参数比单纯增加数据更有效。
=== Chinchilla Scaling ===
Hoffmann 等人在 2022 年发现，在总计算预算 [math]\displaystyle{ C }[/math] 固定的情况下，最优策略是使模型参数 [math]\displaystyle{ N }[/math] 和训练数据量 [math]\displaystyle{ D }[/math] 成线性比例：
Hoffmann 等人在 2022 年发现，在总计算预算 [math]\displaystyle{ C }[/math] 固定的情况下，最优策略是使模型参数 [math]\displaystyle{ N }[/math] 和训练数据量 [math]\displaystyle{ D }[/math] 成线性比例：
Chinchilla 模型（70B 参数）遵循此定律，仅用 GPT-3 同级的算力，却在 MMLU 等 29 项任务中超越了参数更多的 Gopher（280B）和 GPT-3（175B）。
Chinchilla 模型（70B 参数）遵循此定律，仅用 GPT-3 同级的算力，却在 MMLU 等 29 项任务中超越了参数更多的 Gopher（280B）和 GPT-3（175B）。
=== 涌现能力 ===
<nowiki>大语言模型在参数超过某一临界值 [math]\displaystyle{ N_{\text{crit}} }[/math] 后，会突然展现出此前未具备的能力，称为</nowiki>涌现能力（Emergent Abilities）。其概率可用逻辑斯蒂函数建模：
<nowiki>大语言模型在参数超过某一临界值 [math]\displaystyle{ N_{\text{crit}} }[/math] 后，会突然展现出此前未具备的能力，称为</nowiki>涌现能力（Emergent Abilities）。其概率可用逻辑斯蒂函数建模：
* 性能在跨过特定规模后发生跳跃，无法通过小模型外推预测。
* 性能在跨过特定规模后发生跳跃，无法通过小模型外推预测。
= 参考文献 =
https://ar5iv.labs.arxiv.org/html/2001.08361
https://ar5iv.labs.arxiv.org/html/2001.08361