更改

涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki>.</ref>; Hoffmann 等，2022<ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>)。在本文中，研究者将通过绘制不同模型的性能曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022<ref name=":2" />)。使用训练的FLOPs或模型参数作为x轴会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020<ref name=":1" />)。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki>.</ref>; Hoffmann 等，2022<ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>)。研究者通常通过分析模型的性能随训练计算量或参数量的增加而变化的曲线来分析规模曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022<ref name=":2" />)。因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020<ref name=":1" />)，所以使用模型参数作为x轴会与使用 FLOPs 作为x轴产生形状相似的曲线。研究者通常不会绘制模型性能针对训练集大小的曲线，这是因为研究者通常在训练模型时使用固定大小的训练集 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。训练计算量和模型参数的数量均不能充分说明规模的所有影响。【例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的1/4，但它们使用了类似的训练计算量；通常稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。？[这一句为什么这么说]】

请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。

请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。