336
个编辑
更改
→少量样本提示策略： 增加两个图片
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
[[文件:Fewshot.png|200px|thumb|left|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]
==增强提示策略==
==增强提示策略==
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
[[文件:Specialized_prompting_or_finetuning.png|200px|thumb|left|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]
=影响下游任务能力涌现的因素及争议=
=影响下游任务能力涌现的因素及争议=