3,094
个编辑
更改
跳到导航
跳到搜索
第44行：
第44行： − +
→使用少量样本提示的任务
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]
[[文件:Fewshot.png|800px|thumb|left|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]
* '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10<sup>22</sup> FLOPs（约有13B参数），LaMDA达到10<sup>23</sup> FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
* '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10<sup>22</sup> FLOPs（约有13B参数），LaMDA达到10<sup>23</sup> FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。