集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

大语言模型的涌现

嘉树（讨论 | 贡献）2025年4月13日 (日) 11:52的版本 （→‎大语言模型能力涌现的实例： 梳理少量样本提示策略和增强提示策略的区别）

大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力[1]。可见，涌现现象不能通过简单地外推小规模模型的能力来预测[1]，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

历史溯源

在计算机科学领域中，很多例子都可以表明数据量对模型能力具有巨大影响。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越[2]。


大语言模型家族分类

不同模型家族的设计目标、参数规模、训练方法等差异可能会直接影响涌现能力的表现，因此有必要了解不同模型的分类。模型的演进涉及到性能与计算成本的平衡、通用能力与专用场景的取舍、技术创新与工程落地的协同等诸多维度，而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。


结构类型：密集/稀疏. 密集Transformer架构采用全连接自注意力机制, 每个Transformer层都与所有前序层保持全连接，通常包含Billion至Trillion级的参数量（如GPT-3的参数量为175B）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。


应用场景：通用/领域专用. 在上下文学习能力方面有了巨大突破的GPT-3，具有54B参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 DeepSeek-R1 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。

大语言模型能力的涌现现象

涌现的定性定义

涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)“[3][2]的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人[1]沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测[4]。


模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小[5][6]这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的[6]。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例[5]。研究者通常在训练模型时使用固定大小的训练集[7][8]，所以因此较难见到模型能力随训练数据集大小而变化的报告。


大语言模型能力涌现的实例

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

使用少量样本提示的任务

在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 1022 FLOPs（约有13B参数），LaMDA达到1023 FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。

TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年），图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×1023 FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上 (Rae 等，2021)。

基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。

多任务语言理解（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为1022（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×1023训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。

语境中的词语（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×1023 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×1024 FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

 
少量样本提示中8个涌现现象的例子，引自[1]


使用增强提示策略的任务

推理任务. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到1023训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。

指令跟随(Instruction Following). 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×1021（8B参数）或更小的模型有损害，只有当规模扩大到1023训练FLOPs（约100B参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

程序执行. 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为9×1019（40M参数）或更大的模型有帮助。

模型校准. 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较。如图D所示，真/假技术的优势仅在大约3×1023训练FLOPs（52B参数）的最大模型规模时才显现出来。

 


基于下游任务的涌现的影响因素及争议

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性[9]。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉[9]。

例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练[6]，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数[10]。

从规模法则到涌现现象

也有研究者认为，非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析初见端倪[9]：比如，假设模型有N个参数(N>0)，模型的每token的交叉熵随参数量增加而以幂函数的形式下降：

[math]\displaystyle{ L_{CE}(N) = (\frac{N}{c})^{a}, ~ c\gt 0, ~ a\lt 0 }[/math]

假设存在一个真实的但未知的概率分布 [math]\displaystyle{ p }[/math]和使用N参数的模型获得的预测分布 [math]\displaystyle{ \hat{p}_N }[/math]，根据交叉熵的定义：[math]\displaystyle{ L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v) }[/math], 其中[math]\displaystyle{ V }[/math]是可能的tokens的集合。由于p是未知的，可以用观测token [math]\displaystyle{ v^* }[/math]的one-hot分布来替代，于是得到

[math]\displaystyle{ L_{CE}(N) = -\log\hat{p}_N(v^*) }[/math]

因此模型在给定输入的情况下，正确预测出单个token的概率为：

[math]\displaystyle{ p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a}) }[/math]

如下图a所示，此时模型能力的度量指标（[math]\displaystyle{ p(single~token~correct) }[/math]随模型规模(模型参数量[math]\displaystyle{ N }[/math])的变化可以画为平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：

[math]\displaystyle{ Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L }[/math]

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。

 


依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象[9]。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释[9]：

1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；

2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；

3. 在较大参数范围内采样不足。

大语言模型涌现的度量

复杂科学中涌现现象的定量框架

基于大语言模型结构的涌现度量

大语言模型能够从输入文本中提取语义信息。这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现，其中 token 是句子中具有复杂模式的微观（micro）单元，语义则是具有可预测行为特征的宏观（macro）现象。因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象。Chen 等人的研究中提出一种叫做“信息涌现”（Information Emergence, IE）的定量指标，来量化大语言模型从输入token中提取语义信息的能力。受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。一个更擅长从 token 中推导语义的模型，应当能为整体序列带来比单个 token 更显著的熵减效果。

量化大语言模型的信息涌现

研究者将 Transformer 模块看作是语言模型的基本单元。要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。对于任意的 Transformer 模块 [math]\displaystyle{ l }[/math] ，给定输入序列 token 长度 T 和隐状态维度 D，输入表征由 [math]\displaystyle{ H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \} }[/math] 表示，输出表征为 [math]\displaystyle{ H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \} }[/math] ，其中 [math]\displaystyle{ H \in R^{T×D} }[/math] , [math]\displaystyle{ h^t \in R^{1×D} }[/math] 。假设多层模块中 Next-token-prediction (NTP) 预测机制的自回归过程是马尔可夫随机过程。

研究者将序列中的 token 变量分为两类：微观变量和宏观变量。微观变量指仅受单个输入 token 影响的 token，例如 [math]\displaystyle{ h^0 }[/math] 满足转移概率 [math]\displaystyle{ p_{ h^0_{l+1} | h^0_l } }[/math] ；宏观变量则聚合所有微观变量的信息，其对应的 token 受输入序列中全部 token 的影响，例如 [math]\displaystyle{ h^{T-1}_{l+1} }[/math] 满足转移概率[math]\displaystyle{ p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l } }[/math] 。

NTP 机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化，并最终形成有意义的语义。因此，宏观层面代表语义层级，微观层面代表 token 层级。为了进一步量化动态过程中宏观（语义层面）与微观（token层面）转移概率的差异，基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模。文章中对大语言模型的信息涌现做了如下定义：

对于任意的Transformer模块 [math]\displaystyle{ l }[/math] ， [math]\displaystyle{ h^{ma}_l }[/math] 表示宏观变量， [math]\displaystyle{ h^{mi}_l }[/math] 表示微观变量，MI(·，·) 表示互信息，模块 [math]\displaystyle{ l }[/math] 的信息涌现（IE）强度可以描述为

[math]\displaystyle{ E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T} }[/math]

从信息论角度，[math]\displaystyle{ E(l)\gt 0 }[/math] 表明：当第 [math]\displaystyle{ l }[/math] 个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕捉集体语义。IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度。

 
将多层模块中 NTP 预测机制的自回归过程类比为马尔可夫随机过程


信息涌现指标与涌现的联系

研究者在上下文学习（in-context learning，ICL）和自然语句语境两种场景中分别应用IE指标。实验结果表明，IE 指标与大模型的上下文学习、涌现、幻觉（hallucination）等现象存在内在关联。具体而言，上下文学习比自然文本提供更清晰的语义，IE值较高且具有较大标准差时对应特定的幻觉。研究还发现，大语言模型生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是大语言模型生成，特别是为超大规模语言模型提出了一种简单可行的检测策略。

文章指出，“信息涌现”与“涌现”这两个概念名称相似，但含义完全不同。涌现被定义为一种在较小模型中不存在、但在较大模型中突然出现的能力。最常见的情况是，随着模型规模增大，在多项任务上的性能会快速提升。信息涌现则是基于信息论定义的概念，描述的是在宏观层面可观测、但在微观层面不可观测的现象[14][15]。目前仅有少量实验反映了IE与涌现之间随模型规模增大而出现类似的快速提升的规律。

研究中评估了8个算术任务的表现与IE值之间的关联关系（如右图所示）。当有效参数量达到 [math]\displaystyle{ 10^{10} }[/math] 时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围（ [math]\displaystyle{ 10^9 }[/math] 至 [math]\displaystyle{ 10^{10} }[/math] ）内，平均IE值也显著增加。

 
研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联

大语言模型涌现的机制解释

知识量子理论

2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等[16]。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。

 
关于知识量子的具体示例

比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据齐普夫定律，作者假设知识量子在语料中的分布服从幂律分布。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。

 
当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律

渗流模型

Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. https://doi.org/10.48550/arXiv.2408.12578




参考文献

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. https://doi.org/10.48550/arXiv.2206.07682
  2. ↑ 2.0 2.1 Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL https://bounded-regret. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.
  3. ↑ P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393
  4. ↑ Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL https://www.sciencedirect.com/science/article/ abs/pii/0004370287900336.
  5. ↑ 5.0 5.1 Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL https://arxiv.org/abs/2001.08361
  6. ↑ 6.0 6.1 6.2 Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL https://arxiv.org/abs/2203.15556.
  7. ↑ Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
  8. ↑ Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/ 2112.11446.
  9. ↑ 9.0 9.1 9.2 9.3 9.4 Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004
  10. ↑ 张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653
  11. ↑ E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):19790–19795, 2013.
  12. ↑ E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.
  13. ↑ F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.
  14. ↑ M. A. Bedau. Weak emergence. Philosophical perspectives, 11:375–399, 1997.
  15. ↑ M. A. Bedau. Downward causation and autonomy in weak emergence. 2008.
  16. ↑ Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. https://arxiv.org/abs/2303.13506


相关读书会：

https://pattern.swarma.org/study_group_issue/446

取自“https://wiki.swarma.org/index.php?title=大语言模型的涌现&oldid=43316”