大语言模型的涌现

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索

大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力[1]。可见，涌现现象不能通过简单地外推小规模模型的能力来预测[1]，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

历史溯源

涌现是复杂系统中的重要特性，指的是整体表现超越其组成部分的总和，展现出个体所不具备的新特性[2][3]。尽管在鸟群行为、大脑意识与经济社会等多个领域观察到涌现现象[4][5]，学术界对此尚无统一理解。

在计算机科学领域中，人们也有对模型的学习过程发现和总结出非线性增长的现象。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越[6]。

大语言模型家族分类

不同模型家族的设计目标、参数规模、训练方法等差异可能会直接影响涌现能力的表现，因此有必要了解不同模型的分类。模型的演进涉及到性能与计算成本的平衡、通用能力与专用场景的取舍、技术创新与工程落地的协同等诸多维度，而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。


结构类型：密集/稀疏. 密集Transformer架构采用全连接自注意力机制, 每个Transformer层都与所有前序层保持全连接，通常包含Billion至Trillion级的参数量（如GPT-3的参数量为175B）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。


应用场景：通用/领域专用. 在上下文学习能力方面有了巨大突破的GPT-3，具有54B参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 DeepSeek-R1 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。

大语言模型能力的涌现现象

涌现的定性定义

涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)”[7][6]的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人[1]沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测[8]。

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小[9][10]这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的[10]。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例[9]。研究者通常在训练模型时使用固定大小的训练集[11][12]，所以因此较难见到模型能力随训练数据集大小而变化的报告。

大语言模型能力涌现的实例

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

使用少量样本提示的任务

在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 1022 FLOPs（约有13B参数），LaMDA达到1023 FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。

TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年），图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×1023 FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上 (Rae 等，2021)。

基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。

多任务语言理解（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为1022（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×1023训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。

语境中的词语（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×1023 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×1024 FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

少量样本提示中8个涌现现象的例子，引自[1]

使用增强提示策略的任务

推理任务. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到1023训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。

指令跟随(Instruction Following). 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×1021（8B参数）或更小的模型有损害，只有当规模扩大到1023训练FLOPs（约100B参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

程序执行. 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为9×1019（40M参数）或更大的模型有帮助。

模型校准. 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较。如图D所示，真/假技术的优势仅在大约3×1023训练FLOPs（52B参数）的最大模型规模时才显现出来。

特殊的提示或微调中出现涌现现象的例子，引自[1]

基于下游任务的涌现的影响因素及争议

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性[13]。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉[13]。

例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练[10]，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数[14]。

从规模法则到涌现现象

也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪[13]：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：

[math]\displaystyle{ L_{CE}(N) = (\frac{N}{c})^{a}, ~ c\gt 0, ~ a\lt 0 }[/math]

假设存在一个真实的但未知的概率分布 [math]\displaystyle{ p }[/math]和使用N参数的模型获得的预测分布 [math]\displaystyle{ \hat{p}_N }[/math]，根据交叉熵的定义：[math]\displaystyle{ L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v) }[/math], 其中[math]\displaystyle{ V }[/math]是可能的tokens的集合。由于p是未知的，可以用观测token [math]\displaystyle{ v^* }[/math]的one-hot分布来替代，于是得到

[math]\displaystyle{ L_{CE}(N) = -\log\hat{p}_N(v^*) }[/math]

因此模型在给定输入的情况下，正确预测出单个token的概率为：

[math]\displaystyle{ p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a}) }[/math]

如下图a所示，此时模型能力的度量指标（[math]\displaystyle{ p(single~token~correct) }[/math]随模型规模(模型参数量[math]\displaystyle{ N }[/math])的变化可以画为平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：

[math]\displaystyle{ Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L }[/math]

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。


依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象[13]。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释[13]：

1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；

2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；

3. 在较大参数范围内采样不足。

大语言模型涌现的度量

复杂科学中涌现现象的定量框架

在复杂科学中，对复杂系统的涌现的研究由来已久。目前，因果涌现是主流的对涌现定量研究的理论框架。这个概念最早由美国理论神经生物学家Erik Hoel 在2013年提出。下图是对该理论的一个抽象框架，其中，横坐标表示时间，纵坐标表示尺度。该框架可以看成是对同一个动力系统在微观和宏观两种尺度上的描述。其中，[math]f_m[/math] 表示微观动力学，[math]f_M[/math] 表示宏观动力学，二者通过一个粗粒化函数 [math]\phi[/math] 相连。在一个离散状态的马尔科夫动力系统中，[math]f_m[/math] 和 [math]f_M[/math] 都是马尔科夫链。[math]\displaystyle{ EI }[/math] 是有效信息——因果效应强度的度量指标。由于微观态可能具有更大的随机性，这导致微观动力学的因果性比较弱，所以通过对每一个时刻的微观态进行合理的粗粒化，就有可能得到因果性更强的宏观态。所谓的因果涌现，就是指当我们对微观态进行粗粒化的时候，宏观动力学的有效信息会增加这一现象，并且宏观态与微观态的有效信息之差被定义为因果涌现的强度。

因果涌现理论抽象框架

除此以外，还有其他的度量方法，可参考集智百科词条因果涌现。相比于目前大多数对于大语言模型的涌现的刻画，复杂系统研究领域里对涌现的度量的关键区别在于：1.在因果描述的层次上度量，即更关注系统本身的结构而非完成下游任务的能力；2.在多尺度建模的框架下，比较微观和宏观尺度，所以需要对复杂系统（大语言模型）建立多尺度视角；3.使用信息论领域的指标。

基于复杂系统涌现理论进行度量的好处是，量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。下面介绍一个基于信息论和大模型结构的度量涌现的研究。

基于大语言模型结构的涌现度量

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“信息涌现”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

量化大语言模型的信息涌现

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 [math]\displaystyle{ l }[/math] ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 [math]\displaystyle{ H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \} }[/math] 表示，输出表征为 [math]\displaystyle{ H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \} }[/math] ，其中 [math]\displaystyle{ H \in R^{T×D} }[/math] , [math]\displaystyle{ h^t \in R^{1×D} }[/math] 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。微观变量指仅受单个输入 token 影响的 token，例如 [math]\displaystyle{ h^0 }[/math] 满足转移概率 [math]\displaystyle{ p_{ h^0_{l+1} | h^0_l } }[/math] ；宏观变量则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如 [math]\displaystyle{ h^{T-1}_{l+1} }[/math] 满足转移概率[math]\displaystyle{ p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l } }[/math] 。

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，基于 Erik Hoel 等人的因果涌现理论[15][16]和 Rosas 等人基于信息分解量化涌现的理论[17]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：

对于任意的Transformer模块 [math]\displaystyle{ l }[/math] ， [math]\displaystyle{ h^{ma}_l }[/math] 表示宏观变量， [math]\displaystyle{ h^{mi}_l }[/math] 表示微观变量，MI(·，·) 表示互信息，模块 [math]\displaystyle{ l }[/math] 的信息涌现（IE）强度可以描述为

[math]\displaystyle{ E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T} }[/math]

从信息论角度，[math]\displaystyle{ E(l)\gt 0 }[/math] 表明：当第 [math]\displaystyle{ l }[/math] 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕捉集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

将多层模块中 NTP 预测机制的自回归过程类比为马尔可夫随机过程


信息涌现指标与涌现的联系

研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。涌现被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。信息涌现则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象[18][19]。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到 [math]\displaystyle{ 10^{10} }[/math] 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ [math]\displaystyle{ 10^9 }[/math] 至 [math]\displaystyle{ 10^{10} }[/math] ）内，平均IE值也显著增加。

研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联



大语言模型涌现的机制解释

知识量子理论

2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等[20]。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。

关于知识量子的具体示例

比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据齐普夫定律，作者假设知识量子在语料中的分布服从幂律分布。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。

当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律

渗流模型

渗流模型（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。

涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。
涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。

在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

渗流模型与大语言模型的关联

在大语言模型的训练过程中，模型不断学习和优化其对文本的表示，其中涉及到理解语言的语法、上下文等结构。当模型学习到足够的语法规则和上下文依赖结构时，它的表现会发生突变，尤其是在特定任务上的表现，例如文本生成、推理等任务 。这种能力的跃升可以通过渗流模型来理解，即在模型中逐步形成连接的节点或结构，在达到某一临界点时，能力的表现会发生突变 。

渗流模型的数学框架

渗流模型的数学框架基于图论，尤其是二分图（Bipartite Graph）模型。在这个图中，一类节点代表实体（如人、物体），另一类节点代表属性（如行为、特征）。边表示实体和属性之间的关系或配对。随着训练数据的增加，边的数量增加，最终当模型学习到足够的配对时，图中会形成一个巨大的连通子图 。这一过程类似于渗流模型中在临界点时，多个小簇合并形成一个大簇的现象 。

渗流阈值与涌现现象

研究表明，当模型的学习数据量、参数量或计算量达到一定的临界值时，模型能力会突然跃升 。这一现象与渗流模型中的“阈值过渡”类似。在渗流模型中，节点之间的连接在达到临界密度后会从断裂状态转变为连通状态。类似地，当大语言模型在学习过程中跨越某个临界点时，模型的能力也会发生质变 。

实验验证

在研究中，作者使用渗流模型模拟了大语言模型的学习过程，并验证了这一模型的有效性。例如，在训练过程中，当模型的能力提升时，发现其能力提升与模型学习的语法规则和上下文依赖结构相关 。当这些结构学习到足够的程度后，模型的表现会突然提升，表明模型从一个“局部”能力的状态跃升到一个“全局”能力的状态 。这一现象与渗流模型中“临界点”过渡的特性一致。

Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. https://doi.org/10.48550/arXiv.2408.12578

AI生物学

根据前文提及的因果涌现理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？

近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 [21][22]，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。

CLT的示意图

根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的因果图，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？

面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。

上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。

第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。因果图的要义在于我们可以对某个变量施加干预，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成干预的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。

图中浅蓝色部分是提示词，橙红色部分是输出。

如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的向下因果。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。

第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。

计算的36+59的内部思考过程。

一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。

参考文献

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. https://doi.org/10.48550/arXiv.2206.07682
  2. ↑ Meehl P E, Sellars W. The concept of emergence[J]. Minnesota studies in the philosophy of science, 1956, 1239-252.
  3. ↑ Holland J H. Emergence: From chaos to order[M]. OUP Oxford, 2000.
  4. ↑ Reynolds, C.W. Flocks, herds and schools: A distributed behavioral model. In Proceedings of the 14th Annual Conference on Computer Graphics and Interactive Techniques, Anaheim, CA, USA, 27–31 July 1987; pp. 25–34.
  5. ↑ Holland, J.H. Hidden Order: How Adaptation Builds Complexity; Addison Wesley Longman Publishing Co., Inc.: Boston, MA, USA, 1996.
  6. ↑ 6.0 6.1 Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL https://bounded-regret. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.
  7. ↑ P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393
  8. ↑ Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL https://www.sciencedirect.com/science/article/ abs/pii/0004370287900336.
  9. ↑ 9.0 9.1 Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL https://arxiv.org/abs/2001.08361
  10. ↑ 10.0 10.1 10.2 Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL https://arxiv.org/abs/2203.15556.
  11. ↑ Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
  12. ↑ Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/ 2112.11446.
  13. ↑ 13.0 13.1 13.2 13.3 13.4 Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004
  14. ↑ 张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653
  15. ↑ E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.
  16. ↑ E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.
  17. ↑ F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.
  18. ↑ M. A. Bedau. Weak emergence. Philosophical perspectives, 11:375–399, 1997.
  19. ↑ M. A. Bedau. Downward causation and autonomy in weak emergence. 2008.
  20. ↑ Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. https://arxiv.org/abs/2303.13506
  21. ↑ Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.
  22. ↑ Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.


相关读书会：

https://pattern.swarma.org/study_group_issue/446

取自“https://wiki.swarma.org/index.php?title=大语言模型的涌现&oldid=43612”