336
个编辑
更改
→涌现的定性定义
训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。
训练数据集的大小也是一个重要的因素，但是研究者不会针对它绘制模型性能，因为许多语言模型家族对所有模型大小使用固定数量的训练示例 (Brown 等，2020<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL <nowiki>https://papers.nips.cc/paper/2020/hash/</nowiki> 1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html.</ref>; Rae 等，2021<ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>; Chowdhery 等，2022)。虽然研究者在这里关注训练计算量和模型大小，但是没它们均不能充分捕捉到规模的所有影响。例如，Chinchilla (Hoffmann 等，2022<ref name=":2" />) 的参数是Gopher (Rae 等，2021<ref name=":4" />) 的四分之一，但使用类似的训练计算量；稀疏混合专家模型每个训练 / 推理计算具有比密集模型更多的参数 (Fedus 等，2021<ref>William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. arXiv preprint arXiv:2101.03961, 2021. URL <nowiki>https://arxiv.org/</nowiki> abs/2101.03961.</ref>; Du 等，2021)。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。
请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。
请注意，大语言模型中涌现现象的出现可能取决于多种因素，不应当只归因于模型规模。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022<ref name=":2" />)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。