大语言模型的涌现

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索

大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力[1]。可见，涌现现象不能通过简单地外推小规模模型的能力来预测[1]，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

历史溯源

在计算机科学领域中，很多例子都可以表明数据量对模型能力具有巨大影响。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越[2]。


【早期模型 transformer】

大语言模型家族分类

不同模型家族的设计目标、参数规模、训练方法等差异可能会直接影响涌现能力的表现，因此有必要了解不同模型的分类。模型的演进涉及到性能与计算成本的平衡、通用能力与专用场景的取舍、技术创新与工程落地的协同等诸多维度，而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。


结构类型：密集/稀疏. 密集Transformer语言模型采用全连接自注意力机制, 每个Transformer层都与所有前序层保持全连接，通常包含百亿至万亿级参数（如GPT-3的1750亿参数）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。


应用场景：通用/领域专用. 在上下文学习能力方面有了巨大突破的GPT-3，具有5400亿参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的通用大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 DeepSeek 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。

大语言模型能力的涌现现象

涌现的定性定义

涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多即不同 (More is Different)“[3][2]的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人[1]沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测[4]。


模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小[5][6]这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的[6]。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例[5]。研究者通常在训练模型时使用固定大小的训练集[7][8]，所以因此较难见到模型能力随训练数据集大小而变化的报告。


大语言模型能力涌现的实例

尽管少量样本提示可能是目前与大型语言模型互动最常见的方式，但几种其他的提示和微调策略能够进一步提高语言模型的能力。【增加对比图，少量样本提示和进阶提示的区别】

使用少量样本提示的任务

根据提示策略，可以将模型涌现现象分类为使用少量样本提示策略(Few-Shot Prompting Strategies)的场景和使用增强提示策略(Augmented Prompting Strategies)的场景。提示(Prompting)是一种自然语言指令，随着 GPT-3 的广泛应用而流行起来。Brown等人[7]首次运用了少量提示策略，他们在要求模型执行某任务之前，把输入和输出的示例提供给模型。下图是一个少量样本提示的示例。

【示例图】

在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10^22 FLOPs（约有130亿参数），LaMDA达到10^23 FLOPs（约为680亿参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。

TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年）【修改本节文献引用】，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10^23 FLOPs（2800亿参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上 (Rae 等，2021)。

基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。

多任务语言理解（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10^23训练FLOPs（700亿-2800亿参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值（【此处可对比更新的研究】）。

语境中的词语（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10^23 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10^24 FLOPs（5400亿参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

少量样本提示中8个涌现现象的例子，引自[1]


使用进阶提示策略的任务

推理任务. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到10^23训练 FLOPs（约1000亿参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。

指令跟随(Instruction Following). 另一种日益增多的研究旨在使语言模型通过阅读描述任务的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

程序执行. 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。

模型校准. 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较【todo 这一句具体说的什么意思】。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。

特殊的提示或微调中出现涌现现象的例子，引自[1]


基于下游任务的涌现的影响因素及争议

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性[9]。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉[9]。

例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练[6]，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数[10]。

从规模法则到涌现现象

也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪[9]：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：

[math]\displaystyle{ L_{CE}(N) = (\frac{N}{c})^{a}, ~ c\gt 0, ~ a\lt 0 }[/math]

假设存在一个真实的但未知的概率分布 [math]\displaystyle{ p }[/math]和使用N参数的模型获得的预测分布 [math]\displaystyle{ \hat{p}_N }[/math]，根据交叉熵的定义：[math]\displaystyle{ L_{CE}(N) = -\sum_{v \in V}p(v)log\hat{p}_N(v) }[/math], 其中[math]\displaystyle{ V }[/math]是可能的tokens的集合。由于p是未知的，可以用观测token [math]\displaystyle{ v^* }[/math]的one-hot分布来替代，于是得到

[math]\displaystyle{ L_{CE}(N) = -log\hat{p}_N(v^*) }[/math]

因此模型在给定输入的情况下，正确预测出单个token的概率为：

[math]\displaystyle{ p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a}) }[/math]

如下图a所示，此时模型能力的度量指标（[math]\displaystyle{ p(single~token~correct) }[/math]随模型规模(模型参数量[math]\displaystyle{ N }[/math])的变化可以画为平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：

[math]\displaystyle{ Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = exp (-L_{CE}(N)) = exp(-(N/c)^{a})^L }[/math]

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。


依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象[9]。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释[9]：

1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；

2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；

3. 在较大参数范围内采样不足。

大语言模型涌现的度量

复杂科学中涌现现象的定量框架

基于大语言模型结构的涌现度量

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“信息涌现”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

信息涌现的定义

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 [math]\displaystyle{ l }[/math] ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 [math]\displaystyle{ H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \} }[/math] 表示，输出表征为 [math]\displaystyle{ H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \} }[/math] ，其中 [math]\displaystyle{ H \in R^{T×D} }[/math] , [math]\displaystyle{ h^t \in R^{1×D} }[/math] 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。微观变量指仅受单个输入 token 影响的 token，例如 [math]\displaystyle{ h^0 }[/math] 满足条件概率 [math]\displaystyle{ p_{ h^0_{l+1} | h^0_l } }[/math] ；宏观变量则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如 [math]\displaystyle{ h^{T-1}_{l+1} }[/math] 满足条件概率

[math]\displaystyle{ p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l } }[/math] 。

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。信息涌现概念源于一个关键发现：在动态过程中，宏观变量与微观变量的转移概率存在显著差异。文章中对信息涌现做了如下定义：

对于任意的Transformer模块 [math]\displaystyle{ l }[/math] ， [math]\displaystyle{ h^{ma}_l }[/math] 是宏观变量， [math]\displaystyle{ h^{mi}_l }[/math] 是微观变量，MI(·，·) 表示互信息，模块 [math]\displaystyle{ l }[/math] 的 IE 强度可以描述为，

[math]\displaystyle{ E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T} }[/math]


从信息论角度，[math]\displaystyle{ E(l)\gt 0 }[/math] 表明：当第 [math]\displaystyle{ l }[/math] 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。


如何估算大模型的IE指标？

优化误差函数 L


信息涌现指标与涌现的联系

研究者设计了一个轻量级估计器（estimator）来计算每个 Transformer 层的互信息，该估计器具有任务无关性和模型架构无关性。他们在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。涌现被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。信息涌现则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到10^10时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（10^9至10^10）内，平均IE值也显著增加。

研究中评估了8个算术任务的表现与IE值之间的关联关系

大语言模型涌现的机制解释

渗流模型

Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. https://doi.org/10.48550/arXiv.2408.12578

离散量子理论（Quantization Model）

The Quantization Model of Neural Scaling. https://arxiv.org/abs/2303.13506

大模型的顿悟现象（Grokking）

机器学习中的 grokking 现象是指，训练集的收敛往往快于测试集的收敛，二者的收敛速度存在一个时间差。在这个时间差内，算法更像是在过拟合的空间中运作，然后随着迭代次数增加向泛化性上优化，即测试集准确度升高。

  • Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets，https://arxiv.org/pdf/2201.02177
  • Towards Understanding Grokking: An Effective Theory of Representation Learning. https://proceedings.neurips.cc/paper_files/paper/2022/hash/dfc310e81992d2e4cedc09ac47eff13e-Abstract-Conference.html
  • A Good ML theory is Like Physics: A Physicist’s Analysis of Grokking https://zimingliublog.wordpress.com/2023/06/16/a-good-ml-theory-is-like-physics-a-physicists-analysis-of-grokking/

Double Descent

Deep Double Descent: Where Bigger Models and More Data Hurt. https://arxiv.org/abs/1912.02292


相关读书会：

https://pattern.swarma.org/study_group_issue/446

参考文献

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. https://doi.org/10.48550/arXiv.2206.07682
  2. ↑ 2.0 2.1 Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL https://bounded-regret. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.
  3. ↑ P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393
  4. ↑ Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL https://www.sciencedirect.com/science/article/ abs/pii/0004370287900336.
  5. ↑ 5.0 5.1 Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL https://arxiv.org/abs/2001.08361
  6. ↑ 6.0 6.1 6.2 Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL https://arxiv.org/abs/2203.15556.
  7. ↑ 7.0 7.1 Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
  8. ↑ Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/ 2112.11446.
  9. ↑ 9.0 9.1 9.2 9.3 9.4 Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004
  10. ↑ 张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653
取自“https://wiki.swarma.org/index.php?title=大语言模型的涌现&oldid=43244”