3,094
个编辑
更改
跳到导航
跳到搜索
第62行：
第62行： − +
→使用增强提示策略的任务
* '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raffel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×10<sup>21</sup>（8B参数）或更小的模型有损害，只有当规模扩大到10<sup>23</sup>训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。
* '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raffel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×10<sup>21</sup>（8B参数）或更小的模型有损害，只有当规模扩大到10<sup>23</sup>训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。
* '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算<ref name="Nye2021" />。如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为9×10<sup>19</sup>（40M参数）或更大的模型有帮助。
* '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算<ref name="Nye2021" />。如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为9×10<sup>19</sup>（40M参数）或更大的模型有帮助。
* '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，T/F情境下，模型在大约3×10<sup>23</sup>训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。
* '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，在二选一的情境下，模型在大约3×10<sup>23</sup>训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]