336
个编辑
更改
跳到导航
跳到搜索
第19行：
第19行： + + + + + + − ==少量样本提示策略== − 以模型规模为x轴，以模型能力为y轴绘制曲线，涌现表现为一种随着模型规模增大到某临界值之后能力发生明显提升的模式，有研究者称呼其中一些非常剧烈的变化为“相变(Phase Transition)”<ref name=":5" />。 − + − 研究者首先讨论了提示范式中的涌现能力，如 GPT-3<ref name=":3" /> 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。Brown等人<ref name=":3" />提出了少量提示，包括在模型上下文（输入）中作为前言的几个输入-输出示例，在要求模型执行未见推理时间示例的任务之前。 第44行：
第47行： − + −
→少量样本提示策略： 修改层级结构，增加衔接语句
==大语言模型能力涌现的实例==
=== 使用少量样本提示的任务 ===
根据提示策略，可以将模型涌现现象分类为使用少量样本提示策略(Few-Shot Prompting Strategies)的场景和使用增强提示策略(Augmented Prompting Strategies)的场景。提示(Prompting)是
=== here ===
Brown等人<ref name=":3" />首次运用了少量提示策略，他们在要求模型执行某任务之前，把输入和输出的示例提供给模型。少量样本提示
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，涌现表现为一种随着模型规模增大到某临界值之后能力发生明显提升的模式。
研究者首先讨论了使用提示(Prompting)的任务所具有涌现能力，如 GPT-3<ref name=":3" /> 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。
当模型在达到一定规模之前表现随机，之后能力提升至远高于随机水平，就表示模型通过少量提示执行任务的能力是涌现的。下图展示了来自不同工作的五个语言模型家族中的八种此类涌现能力。
当模型在达到一定规模之前表现随机，之后能力提升至远高于随机水平，就表示模型通过少量提示执行任务的能力是涌现的。下图展示了来自不同工作的五个语言模型家族中的八种此类涌现能力。
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
=== 使用增强提示策略的任务 ===
==增强提示策略==
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型能力甚至不利于模型能力，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。
尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型能力甚至不利于模型能力，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。