更改

在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。  

在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。  

'''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D.,  Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10²² FLOPs（约有13B参数），LaMDA达到10²³ FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。

[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]

'''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是针对GPT-3模型对抗策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10²³ FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/

* '''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是刻意针对GPT-3模型而策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×10²³ FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/

2112.11446.</ref>。

2112.11446.</ref>。

 

* '''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。

'''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL

* '''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/

https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。

 

'''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/

forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10²²（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10²³训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。

forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10²²（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10²³训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。

 

* '''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×10²³ FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10²⁴ FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

'''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×10²³ FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10²⁴ FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

 

==使用增强提示策略的任务==

==使用增强提示策略的任务==