更改

=历史溯源=

=历史溯源=

自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。

自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) <ref>Scott Miller, Jethran Guinness, and Alex Zamanian. Name tagging with word clusters and discriminative  training. In NAACL, 2004. URL <nowiki>https://aclanthology.org/N04-1043</nowiki>.</ref>，Liang (2005)<ref>Percy Liang. Semi-supervised learning for natural language. PhD thesis, Massachusetts Institute of Technology,  2005. URL <nowiki>https://www-cs.stanford.edu/~pliang/papers/meng-thesis.pdf</nowiki>.</ref> 或更早的时候。

=大语言模型能力上的涌现=

=大语言模型能力上的涌现=

==涌现的定性定义==

==涌现的定性定义==

涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)。

涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020; Hoffmann 等，2022)。在本文中，研究者将通过绘制不同模型的性能曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022)。因为有更大计算量的语言模型往往也有更多的参数，所以研究者另外在附录 D 中显示了以模型参数数量作为 x 轴的图 (参见图 11和图 12，以及图 4 和图 10)。使用训练的FLOPs或模型参数作为x轴会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020)。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki>.</ref>; Hoffmann 等，2022<ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>)。在本文中，研究者将通过绘制不同模型的性能曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022<ref name=":2" />)。使用训练的FLOPs或模型参数作为x轴会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020<ref name=":1" />)。

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020; Rae 等，2021; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022) 的参数是Gopher (Rae 等，2021) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。例如，在图4的后面部分，我们还将绘制涌现能力作为WikiText103困惑度的函数。(Merity 等，2016) ，这恰好与Gopher/Chinchilla 的训练计算密切相关 (尽管这种相关性在长期内可能不成立)。

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。

请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。

请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。

==少量样本提示策略==

==少量样本提示策略==

研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。

研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al.，2020<ref name=":3" />) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020）<ref name=":3" />提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），图2A-D展示了来自BIG-Bench的四种表现出涌现的少量提示任务。图2A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量达到几个数量级时性能接近零，之后性能在GPT-3达到2 × 10^22训练FLOPs（130亿参数）和LaMDA达到10^23训练FLOPs（680亿参数）时急剧跃升至远高于随机水平。类似的涌现行为也发生在其他任务的相同模型规模上，例如从国际音标转写（图2B）、从混乱字母中恢复单词（图2C）以及波斯语问答（图2D）。附录E中给出了更多来自BIG-Bench的涌现能力。

BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），图2A-D展示了来自BIG-Bench的四种表现出涌现的少量提示任务。图2A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量达到几个数量级时性能接近零，之后性能在GPT-3达到2 × 10^22训练FLOPs（130亿参数）和LaMDA达到10^23训练FLOPs（680亿参数）时急剧跃升至远高于随机水平。类似的涌现行为也发生在其他任务的相同模型规模上，例如从国际音标转写（图2B）、从混乱字母中恢复单词（图2C）以及波斯语问答（图2D）。附录E中给出了更多来自BIG-Bench的涌现能力。