336
个编辑
更改
跳到导航
跳到搜索
第22行：
第22行： − + − === here ===+ − Brown等人<ref name=":3" />首次运用了少量提示策略，他们在要求模型执行某任务之前，把输入和输出的示例提供给模型。少量样本提示 − 在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，涌现表现为一种随着模型规模增大到某临界值之后能力发生明显提升的模式。 + − 研究者首先讨论了使用提示(Prompting)的任务所具有涌现能力，如 GPT-3<ref name=":3" /> 中的流行输入（注2）。在提示中，给预训练的语言模型一个提示（例如，一个自然语言指令），并完成响应，无需对其参数进行任何进一步的训练或梯度更新。+ − 当模型在达到一定规模之前表现随机，之后能力提升至远高于随机水平，就表示模型通过少量提示执行任务的能力是涌现的。下图展示了来自不同工作的五个语言模型家族中的八种此类涌现能力。+ − BIG-Bench. BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），图2A-D展示了来自BIG-Bench的四种表现出涌现的少量提示任务。图2A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量达到几个数量级时能力接近零，之后，GPT-3在达到2 × 10^22 训练 FLOPs（约有130亿参数），LaMDA达到10^23训练FLOPs（约为680亿参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图2B）、从混乱字母中恢复单词（图2C）以及波斯语问答（图2D）。附录E中给出了更多来自BIG-Bench的涌现能力。+ − TruthfulQA. TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年），图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在规模扩大到最大，即5·10^23训练FLOPs（2800亿参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上 (Rae 等，2021)。+ − 基于文本网格世界中的概念域映射 (Grounded conceptual mappings). 图2F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。+ − − 多任务语言理解(Multi-task language understanding). 图2G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小的模型在所有主题上的平均表现并不比随机猜测好，而将规模扩大到3-5×10^23训练FLOPs（700亿-2800亿参数）使得能力大幅超越随机水平。这一结果令人瞩目，因为它可能意味着解决涵盖大量主题的知识型问题所需的能力可能需要超过这个阈值（对于没有检索或访问外部记忆功能的密集语言模型而言）。 − − − − 注：2 尽管 GPT-3 普及了提示，但提示从 GPT-3 之前就已经存在 (Trinh & Le，2018; McCann 等，2018; Radford 等，2019; Raffel 等，2020)。
→使用少量样本提示的任务： 修改本小节语言表述
=== 使用少量样本提示的任务 ===
=== 使用少量样本提示的任务 ===
根据提示策略，可以将模型涌现现象分类为使用少量样本提示策略(Few-Shot Prompting Strategies)的场景和使用增强提示策略(Augmented Prompting Strategies)的场景。提示(Prompting)是
根据提示策略，可以将模型涌现现象分类为使用少量样本提示策略(Few-Shot Prompting Strategies)的场景和使用增强提示策略(Augmented Prompting Strategies)的场景。提示(Prompting)是一种自然语言指令，随着 GPT-3 的广泛应用而流行起来。Brown等人<ref name=":3" />首次运用了少量提示策略，他们在要求模型执行某任务之前，把输入和输出的示例提供给模型。下图是一个少量样本提示的示例。
【示例图】
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
'''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10^22 FLOPs（约有130亿参数），LaMDA达到10^23 FLOPs（约为680亿参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
'''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力（Lin等人，2021年）【修改本节文献引用】，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10^23 FLOPs（2800亿参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上 (Rae 等，2021)。
'''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。
'''多任务语言理解'''(Multi-task language understanding). 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10^23训练FLOPs（700亿-2800亿参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值（【此处可对比更新的研究】）。
'''语境中的词语'''(WiC). 图H展示了一个语义理解基准测试：语境中的词语（WiC）基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10^23 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10^24 FLOPs（5400亿参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。
语境中的词语(WiC)。最后，图2H展示了一个语义理解基准测试：语境中的词语（WiC）基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5·10^23 FLOPs），GPT-3和Chinchilla也无法实现优于随机的 One-shot 能力。尽管这些结果到目前为止可能表明，仅靠扩大规模可能无法使模型解决WiC问题，但当PaLM扩大到2.5·10^24 FLOPs（5400亿参数）时，最终出现了超越随机的能力。这个参数量比GPT-3和Chinchilla大得多。
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>