842
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 涌现这个概念在众多领域已经得到长期讨论，可以有多种合理的解释。在大语言模型领域，研究者通常从模型规模的角度来探讨涌现能力，即，如果某种能力在小规模模型中不存在，但在大规模模型中存在，则称大规模模型体现出了涌现能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。据这个定义，涌现行为不能通过简单地外推小规模模型的性能来预测<ref name=":0" />。+ + + + − + − − (本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。) 第20行：
第21行： − 注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
无编辑摘要
大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的性能来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。
=历史溯源=
自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
=大语言模型能力上的涌现=
=大语言模型能力上的涌现=
==涌现能力的定义==
==涌现的定性定义==
<nowiki>=here=</nowiki>
<nowiki>=here=</nowiki>
请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。
请注意，一种能力首次被观察到出现的规模取决于多种因素，并不是该能力固有的属性。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数下出现。相反，涌现能力也主要取决于其他因素，例如不受数据量、数据质量或模型参数数量的限制。当今的语言模型很可能没有得到最佳训练 (Hoffmann et al.,2022)，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展。研究者在这篇论文中的目标不是刻画或声称需要特定的规模来观察涌现能力，而是讨论先前工作中涌现行为的例子。