336
个编辑
更改
跳到导航
跳到搜索
第54行：
第54行： − + − 尽管少量提示可能是目前与大型语言模型互动最常见的方式，但最近的研究提出了几种其他的提示和微调策略，以进一步增强语言模型的能力。如果一种技术与不使用该技术的基线相比没有改进模型能力甚至不利于模型能力，但是在应用于足够大规模的模型之后情况有所变化，我们也将这种技术视为具有涌现能力。+ − '''推理任务'''，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链提示的提示策略，能够引导模型在给出最终答案之前产生一系列中间步骤，使语言模型能够解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如图3A所示，只有当规模扩大到10^23训练FLOPs（约1000亿参数）时，思维链提示才超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。 − '''Instruction following'''. 另一种日益增多的研究旨在使语言模型能够通过阅读描述任务的指令来执行新任务（无需少量示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够适当地响应描述看不见的任务的指令（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图3B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种遵循指令的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。+ − + − + + + + +
→使用增强提示策略的任务： 修改文字
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
=== 使用增强提示策略的任务 ===
=== 使用进阶提示策略的任务 ===
尽管少量样本提示可能是目前与大型语言模型互动最常见的方式，但几种其他的提示和微调策略能够进一步提高语言模型的能力。【增加对比图，少量样本提示和进阶提示的区别】
在这里，如果一种技术在应用于规模足够大的模型之后能力有提升，即使它在规模较小的模型上表现不佳，我们也将这种现象视为涌现。
'''程序执行''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出（“草稿本scratchpad”）使它们能够成功执行此类多步骤计算。正如图3C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。
'''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到10^23训练 FLOPs（约1000亿参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。
'''模型校准''' 最后，语言模型部署研究的一个重要方向是校准，它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先提出答案，然后评估它们的答案正确的概率“p (True)”，以及更标准的校准方法，即使用正确答案的概率与其他答案选项进行比较。如图3D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
'''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读'''描述任务'''的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。
'''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)，使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。
'''模型校准.''' 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较【todo 这一句具体说的什么意思】。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br>