更改

=历史溯源=

=历史溯源=

自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) <ref>Scott Miller, Jethran Guinness, and Alex Zamanian. Name tagging with word clusters and discriminative  training. In NAACL, 2004. URL <nowiki>https://aclanthology.org/N04-1043</nowiki>.</ref>，Liang (2005)<ref>Percy Liang. Semi-supervised learning for natural language. PhD thesis, Massachusetts Institute of Technology,  2005. URL <nowiki>https://www-cs.stanford.edu/~pliang/papers/meng-thesis.pdf</nowiki>.</ref> 或更早的时候。

在计算机科学领域中，很多例子都可以表明数据量对模型性能具有巨大影响。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越<ref name=":5" />。

=大语言模型能力的涌现现象=

=大语言模型能力的涌现现象=

涌现能力不能通过规模法则 (即性能上具有一致性的改进) 从小规模模型直接预测。当通过规模曲线观察时（x轴：模型规模，y轴：模型性能），涌现能力可以显示出一种清晰的模式：在达到一定的临界规模之前，模型能力处于随机水平，在达到临界值之后，模型性能明显提升并且远超随机水平。研究者通常称模型性能随规模增大而出现的定性变化为“涌现”，并用“相变”称呼那些变化非常剧烈的涌现<ref name=":5" />。总体而言，涌现是指一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的 (Huberman & Hogg，1987)<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

涌现能力不能通过规模法则 (即性能上具有一致性的改进) 从小规模模型直接预测。当通过规模曲线观察时（x轴：模型规模，y轴：模型性能），涌现能力可以显示出一种清晰的模式：在达到一定的临界规模之前，模型能力处于随机水平，在达到临界值之后，模型性能明显提升并且远超随机水平。研究者通常称模型性能随规模增大而出现的定性变化为“涌现”，并用“相变”称呼那些变化非常剧烈的涌现<ref name=":5" />。总体而言，涌现是指一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的 (Huberman & Hogg，1987)<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki>.</ref>; Hoffmann 等，2022<ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>)。研究者通常会分析模型的性能随训练计算量或参数量的增加而变化的曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022<ref name=":2" />)。使用参数量作为x轴会与使用 FLOPs 作为x轴通常会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020<ref name=":1" />)。研究者通常不会绘制模型性能针对训练集大小的曲线，因为研究者通常在训练模型时使用固定大小的训练集 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。训练计算量和模型参数的数量均不能充分说明规模的所有影响。【例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的1/4，但它们使用了类似的训练计算量；通常稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。？[这一句为什么这么说]】

当今的语言模型主要调整如下三个因素：计算量，模型参数的数量和训练数据集的大小 (Kaplan 等，2020<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki>.</ref>; Hoffmann 等，2022<ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>)。研究者通常会分析模型的性能随训练计算量或参数量的增加而变化的曲线，其中每个模型的训练计算量是以 x 轴上的 FLOPs 来衡量的 (Hoffmann 等，2022<ref name=":2" />)。使用参数量作为x轴会与使用 FLOPs 作为x轴通常会产生形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数成比例增加(Kaplan 等人，2020<ref name=":1" />)。研究者通常不会绘制模型性能针对训练集大小的曲线，因为研究者通常在训练模型时使用固定大小的训练集 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。训练计算量和模型参数的数量均不能充分说明规模的所有影响。【例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的1/4，但它们使用了类似的训练计算量；通常稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。？[这一句为什么这么说]】