842
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： + + + + − 涌现这个概念在众多领域已经得到长期讨论，可以有多种合理的解释。在大语言模型领域，研究者通常从模型规模的角度来探讨涌现能力，即，如果某种能力在小规模模型中不存在，但在大规模模型中存在，则称大规模模型体现出了涌现能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。据这个定义，涌现行为不能通过简单地外推小规模模型的性能来预测<ref name=":0" />。+ 第18行：
第22行： − ==大语言模型在各种能力上的涌现== − ===少量样本提示策略===+ 第37行：
第40行： − ===增强提示策略===+ 第48行：
第51行： − ==影响下游任务能力涌现的因素及争议==+ − ==大语言模型涌现的度量==+ − ===复杂科学中涌现现象的定量框架===+ − ===基于大语言模型结构的涌现度量===+ − ==大语言模型涌现的机制解释==+ − ==参考文献==+
无编辑摘要
涌现这个概念在众多领域已经得到长期讨论，可以有多种合理的解释。在大语言模型领域，研究者通常从模型规模的角度来探讨涌现能力，即，如果某种能力在小规模模型中不存在，但在大规模模型中存在，则称大规模模型体现出了涌现能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。据这个定义，涌现行为不能通过简单地外推小规模模型的性能来预测<ref name=":0" />。
=大语言模型能力上的涌现=
==涌现能力的定义==
==涌现能力的定义==
(本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。)
(本调查专注于预训练的Transformer语言模型。更广泛地说，自然语言处理中的涌现能力可以追溯到Miller等人（2004年）、Liang（2005年）或更早的时期。)
注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
注1 ：本调查主要关注预训练的 Transformer 语言模型。然而，自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) ，Liang (2005) 或更早的时候。
==少量样本提示策略==
研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。
研究者首先讨论了提示范式中的涌现能力，如 GPT-3 (Brown et al。 ，2020) 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人（2020年）提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。图1展示了一个提示示例。
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
==增强提示策略==
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型性能甚至不利于模型性能，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
=影响下游任务能力涌现的因素及争议=
=大语言模型涌现的度量=
==复杂科学中涌现现象的定量框架==
==基于大语言模型结构的涌现度量==
=大语言模型涌现的机制解释=
=参考文献=
<references />
<references />