5,443
个编辑
更改
跳到导航
跳到搜索
第56行：
第56行： − 规模法则的普适性不仅体现在自然和城市系统中，也开始在人工智能等新兴领域显现。+ − 近年来，大型语言模型（LLMs）的快速发展揭示了其性能与规模之间也存在着可预测的规模法则。+ − * '''性能与模型规模(参数N)、数据集规模(D)、计算资源(C)的规模关系'''+ + − 大型语言模型的性能，通常以交叉熵损失（cross-entropy loss）来衡量，会随着模型大小、数据集大小以及用于训练的计算量的增加而呈现幂律形式的改善 。具体而言，当其他因素不成瓶颈时，损失L与这三个因素的关系可以表示为：L∝N−αN，L∝D−αD，L∝C−αC。这些幂律关系可以跨越多个数量级，使得性能的提升在一定程度上是可预测的。+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第71行：
第105行： + + + + + + + +
→大语言模型
== 其他规模法则 ==
== 其他规模法则 ==
规模法则的普适性不仅体现在自然界和城市系统中，也开始在人工智能等新兴复杂系统中显现。这些规律揭示出系统在“变大”过程中，其性能、效率或功能呈现出幂律式的非线性增长或涌现行为。以下介绍大语言模型中的规模法则及 AI 演化过程中的规模现象。
=== 大语言模型 ===
=== 大语言模型 ===
大型语言模型如 GPT 系列、BERT、PaLM、Chinchilla 等，基于 Transformer 架构，具备亿至千亿级参数量，并通过下一个token的预测来进行预训练。其在多个自然语言处理（NLP）任务上展现出跨任务、跨领域的强泛化能力。
==== Parameter–Loss Power Law ====
Kaplan 等人在 2020 年提出，大语言模型的预测误差（例如交叉熵损失）与模型参数量 [math]\displaystyle{ N }[/math]、训练数据量 [math]\displaystyle{ D }[/math] 之间呈现出如下幂律关系：
[math]\displaystyle{ L(N, D) = A N^{-\alpha} + B D^{-\beta} + L_\infty }[/math]
其中：
* [math]\displaystyle{ \alpha \approx 0.076 }[/math]， [math]\displaystyle{ \beta \approx 0.095 }[/math]；
* [math]\displaystyle{ L_\infty }[/math] 是误差下界；
* 显示出收益递减，且 [math]\displaystyle{ \alpha < \beta }[/math]，说明扩大模型参数比单纯增加数据更有效。
==== Chinchilla Scaling ====
Hoffmann 等人在 2022 年发现，在总计算预算 [math]\displaystyle{ C }[/math] 固定的情况下，最优策略是使模型参数 [math]\displaystyle{ N }[/math] 和训练数据量 [math]\displaystyle{ D }[/math] 成线性比例：
[math]\displaystyle{ N^\ast \propto D }[/math]
[math]\displaystyle{ C \approx 6 N^\ast D }[/math]
Chinchilla 模型（70B 参数）遵循此定律，仅用 GPT-3 同级的算力，却在 MMLU 等 29 项任务中超越了参数更多的 Gopher（280B）和 GPT-3（175B）。
==== 涌现能力 ====
<nowiki>大语言模型在参数超过某一临界值 [math]\displaystyle{ N_{\text{crit}} }[/math] 后，会突然展现出此前未具备的能力，称为</nowiki>'''涌现能力（Emergent Abilities）'''。其概率可用逻辑斯蒂函数建模：
<nowiki>[math]\displaystyle{ P_{\text{success}}(N) \approx \frac{1}{1 + e^{-\kappa (\log N - \log N_{\text{crit}})} } }[/math]</nowiki>
这类能力包括：
* zero-shot / few-shot 学习；
* 算术推理、代码生成、逻辑判断等；
* 性能在跨过特定规模后发生跳跃，无法通过小模型外推预测。
=== AI的演化 ===
=== AI的演化 ===
人工智能的发展历程也体现出典型的规模法则特征。
语言模型参数的增长可用指数函数描述：
[math]\displaystyle{ N(t) \approx N_0 e^{\lambda t}, \quad \lambda \approx 0.35 \ \text{(year}^{-1}) }[/math]
每一技术周期内，主流性能指标误差都以幂律方式随 [math]\displaystyle{ N }[/math] 与 [math]\displaystyle{ D }[/math] 下降。这种'''指数级资源增长 + 幂律性能提升'''的组合，构成当前 AI 技术发展的主要。
== 参考文献 ==
== 参考文献 ==
https://arxiv.org/html/2503.04715v1
https://arxiv.org/html/2503.04715v1
https://arxiv.org/abs/2001.08361
https://arxiv.org/abs/2203.15556
https://arxiv.org/abs/2206.07682
https://arxiv.org/abs/2005.14165