336
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： + + − 扩大语言模型的规模 (例如增加训练计算量，增加模型参数等) 可以在一系列下游 NLP 任务中获得更好的性能和样本效率 (Devlin 等，2019; Brown 等，2020，等)。在许多情况下，规模对性能的影响可以通过规模法则进行预测，例如，交叉熵损失的规模曲线已经在实证上显示跨越了超过七个数量级 (Kaplan 等，2020; Hoffmann 等，2022)。+ − 另一方面，与直觉相反，某些下游任务的表现并没有随规模增大而不断改善，并且这些任务不能提前预测(Ganguli 等，2022)。+ − == 涌现能力的定义 == − 在本文中，研究者将讨论大型语言模型不可预测的涌现能力。涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。在此，研究者对涌现的定义如下，改编自 Steinhardt (2022) ，植根于 1972 年诺贝尔奖获得者Philip Anderson (Anderson，1972) 的一篇名为 “多即不同 (More is Different)” 的文章： − − 涌现是指系统中量的变化导致行为上质的变化。 − − 研究者将从模型规模的角度来探讨涌现能力，通过训练计算量和模型参数的数量来衡量。具体来说，研究者将大规模语言模型的涌现能力定义为在小规模模型中不存在但在大规模模型中存在的能力，因此，它们不能通过简单地外推小规模模型的性能来预测（参照第2节） (本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。) 研究者调查了在一系列先前工作中观察到的涌现能力，将它们分类为少量提示 (参照第3节) 和增强提示策略 (参照第4节)。涌现现象激发了未来研究的兴趣，这些研究将探讨为何模型能够获得涌现能力，以及进一步扩大规模是否会导致提高涌现能力。我们将这些问题视为领域内的重要研究方向(参照第5节)。 − − 涌现作为一个宽泛的概念，经常被非正式地使用，并且可以有多种合理的解释。在本文中，我们将探讨大语言模型涌现能力的一个确切定义： − − 如果一种能力不存在于较小的模型，而存在于较大的模型中，那么就称之为涌现能力。<ref>Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref> 第26行：
第18行： − + − + 第45行：
第37行： − + 第56行：
第48行： − + + + − + − + − + − + +
初步修改了涌现能力的定义
==涌现能力的定义==
涌现这个概念在众多领域已经得到长期讨论，可以有多种合理的解释。在大语言模型领域，研究者通常从模型规模的角度来探讨涌现能力，即，如果某种能力在小规模模型中不存在，但在大规模模型中存在，则称大规模模型体现出了涌现能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。据这个定义，涌现行为不能通过简单地外推小规模模型的性能来预测<ref name=":0" />。
(本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。)
<nowiki>=here=</nowiki>
涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)。
涌现能力不能通过规模法则 (即一致的性能改进) 从小规模模型直接预测。当通过扩展曲线可视化时（x轴：模型规模，y轴：模型性能），涌现能力显示出一种清晰的模式：在达到一定的临界规模阈值之前，性能接近随机，之后性能显著提高，远超随机水平。这种定性变化也被称为相变：一种在整体行为上的剧烈变化，这种变化通过研究规模较小的系统是无法预见的(Huberman & Hogg，1987)。
注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
== 大语言模型在各种能力上的涌现 ==
==大语言模型在各种能力上的涌现==
=== 少量样本提示策略 ===
===少量样本提示策略===
研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。
研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
=== 增强提示策略 ===
===增强提示策略===
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
== 影响下游任务能力涌现的因素及争议 ==
==影响下游任务能力涌现的因素及争议==
==大语言模型涌现的度量==
== 大语言模型涌现的度量 ==
===复杂科学中涌现现象的定量框架===
=== 复杂科学中涌现现象的定量框架 ===
===基于大语言模型结构的涌现度量===
=== 基于大语言模型结构的涌现度量 ===
==大语言模型涌现的机制解释==
== 大语言模型涌现的机制解释 ==
==参考文献==
<references />