28
个编辑
更改
跳到导航
跳到搜索
第12行：
第12行： − + − − − '''应用场景：通用/领域专用'''. 在上下文学习能力方面有了巨大突破的GPT-3，具有5400亿参数量的 PaLM，以及DeepMind 的 Gopher，都是适合多种场景的通用大语言模型。Google 的 LaMDA对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过DeepSeek等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。 − + 第39行：
第36行： − 在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。 + 第47行：
第44行： − + − + 第60行：
第57行： − +
→大语言模型家族分类
'''结构类型：密集/稀疏.''' 密集Transformer语言模型采用'''全连接自注意力机制''', 每个Transformer层都与所有前序层保持全连接，通常包含百亿至万亿级参数（如GPT-3的1750亿参数）,参数利用率高（100%参数激活），计算复杂度为）O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。
'''结构类型：密集/稀疏.''' 密集Transformer语言模型采用'''全连接自注意力机制''', 每个Transformer层都与所有前序层保持全连接，通常包含百亿至万亿级参数（如GPT-3的1750亿参数）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。
'''应用场景：通用/领域专用'''. 在上下文学习能力方面有了巨大突破的GPT-3，具有5400亿参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的通用大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 DeepSeek 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。
=大语言模型能力的涌现现象=
=大语言模型能力的涌现现象=
【示例图】
【示例图】
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
'''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10^22 FLOPs（约有130亿参数），LaMDA达到10^23 FLOPs（约为680亿参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
'''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试（BIG-Bench，2022年），下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA（Thoppilan等人，2022年）在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 10^22 FLOPs（约有130亿参数），LaMDA达到10^23 FLOPs（约为680亿参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
'''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。
'''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务（Patel & Pavlick，2022年），这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。
'''多任务语言理解'''(Multi-task language understanding). 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10^23训练FLOPs（700亿-2800亿参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值（【此处可对比更新的研究】）。
'''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试（Hendrycks等人，2021a）。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为10^22（参数约为100亿）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×10^23训练FLOPs（700亿-2800亿参数），模型能力大幅超越随机水平。这一结可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值（【此处可对比更新的研究】）。
'''语境中的词语'''(WiC). 图H展示了一个语义理解基准测试：语境中的词语（WiC）基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10^23 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10^24 FLOPs（5400亿参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。
'''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10^23 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10^24 FLOPs（5400亿参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>
'''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读'''描述任务'''的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。
'''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读'''描述任务'''的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（80亿参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约1000亿参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。
'''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)，使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。
'''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。Nye等人（2021年）展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)使模型能够成功执行此类多步骤计算。正如图C所示，在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助。
'''模型校准.''' 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较【todo 这一句具体说的什么意思】。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。
'''模型校准.''' 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较【todo 这一句具体说的什么意思】。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（520亿参数）的最大模型规模时才显现出来。