更改

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。

训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。

请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。

请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。