大语言模型的涌现

涌现这个概念在众多领域已经得到长期讨论，可以有多种合理的解释。在大语言模型领域，研究者通常从模型规模的角度来探讨涌现能力，即，如果某种能力在小规模模型中不存在，但在大规模模型中存在，则称大规模模型体现出了涌现能力。据这个定义，涌现行为不能通过简单地外推小规模模型的性能来预测。

大语言模型能力上的涌现

涌现能力的定义

(本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。)

=here=

涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020; Hoffmann 等，2022)。在本文中，研究者将通过绘制不同模型的性能曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022)。因为有更大计算量的语言模型往往也有更多的参数，所以研究者另外在附录 D 中显示了以模型参数数量作为 x 轴的图 (参见图 11和图 12，以及图 4 和图 10)。使用训练的FLOPs或模型参数作为x轴会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020)。

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020; Rae 等，2021; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022) 的参数是Gopher (Rae 等，2021) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。例如，在图4的后面部分，我们还将绘制涌现能力作为WikiText103困惑度的函数。(Merity 等，2016) ，这恰好与Gopher/Chinchilla 的训练计算密切相关 (尽管这种相关性在长期内可能不成立)。

请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。

注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。

少量样本提示策略

研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。

当模型在达到一定规模之前表现随机，之后性能提升至远高于随机水平，就表示模型通过少量提示执行任务的能力是涌现的。图2展示了来自不同工作的五个语言模型家族中的八种此类涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），图2A-D展示了来自BIG-Bench的四种表现出涌现的少量提示任务。图2A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量达到几个数量级时性能接近零，之后性能在GPT-3达到2 × 10^22训练FLOPs（130亿参数）和LaMDA达到10^23训练FLOPs（680亿参数）时急剧跃升至远高于随机水平。类似的涌现行为也发生在其他任务的相同模型规模上，例如从国际音标转写（图2B）、从混乱字母中恢复单词（图2C）以及波斯语问答（图2D）。附录E中给出了更多来自BIG-Bench的涌现能力。

TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年），图2E展示了少量提示模型在TruthfulQA基准测试上的性能。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的性能也没有超过随机水平。小型Gopher模型在规模扩大到最大，即5·10^23训练FLOPs（2800亿参数）之前，性能也没有超过随机水平，而在达到这一规模后，性能跃升至超过随机水平20%以上 (Rae 等，2021)。

基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图2F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，性能才会跃升至超过随机水平。

多任务语言理解(Multi-task language understanding). 图2G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小的模型在所有主题上的平均表现并不比随机猜测好，而将规模扩大到3-5×10^23训练FLOPs（700亿-2800亿参数）使得性能大幅超越随机水平。这一结果令人瞩目，因为它可能意味着解决涵盖大量主题的知识型问题所需的能力可能需要超过这个阈值（对于没有检索或访问外部记忆功能的密集语言模型而言）。

语境中的词语(WiC)。最后，图2H展示了一个语义理解基准测试：语境中的词语（WiC）基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5·10^23 FLOPs），GPT-3和Chinchilla也无法实现优于随机的 One-shot 性能。尽管这些结果到目前为止可能表明，仅靠扩大规模可能无法使模型解决WiC问题，但当PaLM扩大到2.5·10^24 FLOPs（5400亿参数）时，最终出现了超越随机的性能。这个参数量比GPT-3和Chinchilla大得多。

注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。

增强提示策略

尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。

推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链提示的提示策略，能够引导模型在给出最终答案之前产生一系列中间步骤，使语言模型能够解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如图3A所示，只有当规模扩大到10^23训练FLOPs（约1000亿参数）时，思维链提示才超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的性能提升涌现（Lampinen等人，2022年）。

Instruction following. 另一种日益增多的研究旨在使语言模型能够通过阅读描述任务的指令来执行新任务（无需少量示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够适当地响应描述看不见的任务的指令（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图3B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型性能（尽管Sanh等人（2022年）随后发现，这种遵循指令的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

程序执行 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出（“草稿本scratchpad”）使它们能够成功执行此类多步骤计算。正如图3C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。

模型校准 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。