集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

大语言模型的涌现

嘉树（讨论 | 贡献）2025年3月12日 (三) 19:23的版本 （→‎涌现的定性定义： 修改LLM涌现不仅源于模型规模的表述）

大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力[1]。可见，涌现现象不能通过简单地外推小规模模型的性能来预测[1]，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

历史溯源

自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) [2]，Liang (2005)[3] 或更早的时候。

大语言模型能力的涌现现象

涌现的定性定义

涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多即不同 (More is Different)“[4][5]的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人[1]沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。


涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)[6]。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020[7]; Hoffmann 等，2022[8])。在本文中，研究者将通过绘制不同模型的性能曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022[8])。使用训练的FLOPs或模型参数作为x轴会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020[7])。

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020[9]; Rae 等，2021[10]; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022[8]) 的参数是Gopher (Rae 等，2021[10]) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021[11]; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。

请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022[8])，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。


少量样本提示策略

研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al.，2020[9]) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020）[9]提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。

当模型在达到一定规模之前表现随机，之后性能提升至远高于随机水平，就表示模型通过少量提示执行任务的能力是涌现的。下图展示了来自不同工作的五个语言模型家族中的八种此类涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），图2A-D展示了来自BIG-Bench的四种表现出涌现的少量提示任务。图2A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量达到几个数量级时性能接近零，之后性能在GPT-3达到2 × 10^22训练FLOPs（130亿参数）和LaMDA达到10^23训练FLOPs（680亿参数）时急剧跃升至远高于随机水平。类似的涌现行为也发生在其他任务的相同模型规模上，例如从国际音标转写（图2B）、从混乱字母中恢复单词（图2C）以及波斯语问答（图2D）。附录E中给出了更多来自BIG-Bench的涌现能力。

TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年），图2E展示了少量提示模型在TruthfulQA基准测试上的性能。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的性能也没有超过随机水平。小型Gopher模型在规模扩大到最大，即5·10^23训练FLOPs（2800亿参数）之前，性能也没有超过随机水平，而在达到这一规模后，性能跃升至超过随机水平20%以上 (Rae 等，2021)。

基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图2F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，性能才会跃升至超过随机水平。

多任务语言理解(Multi-task language understanding). 图2G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小的模型在所有主题上的平均表现并不比随机猜测好，而将规模扩大到3-5×10^23训练FLOPs（700亿-2800亿参数）使得性能大幅超越随机水平。这一结果令人瞩目，因为它可能意味着解决涵盖大量主题的知识型问题所需的能力可能需要超过这个阈值（对于没有检索或访问外部记忆功能的密集语言模型而言）。

语境中的词语(WiC)。最后，图2H展示了一个语义理解基准测试：语境中的词语（WiC）基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5·10^23 FLOPs），GPT-3和Chinchilla也无法实现优于随机的 One-shot 性能。尽管这些结果到目前为止可能表明，仅靠扩大规模可能无法使模型解决WiC问题，但当PaLM扩大到2.5·10^24 FLOPs（5400亿参数）时，最终出现了超越随机的性能。这个参数量比GPT-3和Chinchilla大得多。

注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。

 
少量样本提示中8个涌现现象的例子，引自[1]



增强提示策略

尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。

推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链提示的提示策略，能够引导模型在给出最终答案之前产生一系列中间步骤，使语言模型能够解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如图3A所示，只有当规模扩大到10^23训练FLOPs（约1000亿参数）时，思维链提示才超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的性能提升涌现（Lampinen等人，2022年）。

Instruction following. 另一种日益增多的研究旨在使语言模型能够通过阅读描述任务的指令来执行新任务（无需少量示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够适当地响应描述看不见的任务的指令（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图3B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型性能（尽管Sanh等人（2022年）随后发现，这种遵循指令的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

程序执行 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出（“草稿本scratchpad”）使它们能够成功执行此类多步骤计算。正如图3C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。

模型校准 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。

 


影响下游任务能力涌现的因素及争议

大语言模型涌现的度量

复杂科学中涌现现象的定量框架

基于大语言模型结构的涌现度量

大语言模型涌现的机制解释

参考文献

  1. ↑ 1.0 1.1 1.2 1.3 1.4 Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. https://doi.org/10.48550/arXiv.2206.07682
  2. ↑ Scott Miller, Jethran Guinness, and Alex Zamanian. Name tagging with word clusters and discriminative  training. In NAACL, 2004. URL https://aclanthology.org/N04-1043.
  3. ↑ Percy Liang. Semi-supervised learning for natural language. PhD thesis, Massachusetts Institute of Technology,  2005. URL https://www-cs.stanford.edu/~pliang/papers/meng-thesis.pdf.
  4. ↑ P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393
  5. ↑ Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL https://bounded-regret. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.
  6. ↑ Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL https://www.sciencedirect.com/science/article/ abs/pii/0004370287900336.
  7. ↑ 7.0 7.1 Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL https://arxiv.org/abs/2001.08361.
  8. ↑ 8.0 8.1 8.2 8.3 Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL https://arxiv.org/abs/2203.15556.
  9. ↑ 9.0 9.1 9.2 Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/ 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.
  10. ↑ 10.0 10.1 Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/ 2112.11446.
  11. ↑ William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL https://arxiv.org/ abs/2101.03961.
取自“https://wiki.swarma.org/index.php?title=大语言模型的涌现&oldid=42704”