更改

大语言模型的快速发展使人们看到很多神奇的现象，比如规模法则、涌现、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

大语言模型的快速发展使人们看到很多神奇的现象，比如[[规模法则]]、[[涌现]]、顿悟等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

=历史溯源=

=历史溯源=

'''结构类型：密集/稀疏.''' 密集Transformer语言模型采用'''全连接自注意力机制''', 每个Transformer层都与所有前序层保持全连接，通常包含Billion至Trillion级的参数量（如GPT-3的参数量为175B）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。

'''结构类型：密集/稀疏.''' 密集[[Transformer架构]]采用'''全连接自注意力机制''', 每个Transformer层都与所有前序层保持全连接，通常包含Billion至Trillion级的参数量（如GPT-3的参数量为175B）,参数利用率高（100%参数激活），计算复杂度为 O(n²)，采用大规模无监督预训练+特定任务微调范式作为训练策略，代表模型有BERT, GPT-3, Chinchilla等，更擅长知识密集型任务。稀疏Transformer模型采用局部/分层/动态稀疏注意力，参数选择性激活（如MoE模型20-35%激活），计算复杂度为O(log n)或更低。稀疏模型通过限制注意力头的连接范围（如局部窗口或关键区域）减少计算量和参数依赖，具体注意类型包括Mixture of Block Attention（MoBA）, Mixture of Experts (MoE)等。代表模型有Switch Transformer, GLaM, ST-MoE。这类模型在训练效率上有显著优势。另外，综合采用密集和稀疏方法的混合架构正在成为模型的新趋势。

'''应用场景：通用/领域专用'''.  在上下文学习能力方面有了巨大突破的GPT-3，具有54B参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的通用大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 DeepSeek 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。  

'''应用场景：通用/领域专用'''.  在上下文学习能力方面有了巨大突破的GPT-3，具有54B参数量的 PaLM，以及 DeepMind 的 Gopher，都是适合多种场景的大语言模型。Google 的 LaMDA 对于对话场景进行了优化，适用于对话场景。DeepMind 的 Chinchilla 在训练计算利用率上进行了优化，能耗小，可以用作高效运算的基准。现今模型发展有整合的趋势，比如现在的开发者可以通过 [[DeepSeek-R1]] 等模型的开源策略和较灵活的架构，基于通用模型构建行业专用模型，使具有通用能力的模型向领域优化模型演进。  

=大语言模型能力的涌现现象=

=大语言模型能力的涌现现象=

==涌现的定性定义==

==涌现的定性定义==

涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)“<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>.  ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20,  2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)“<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>.  ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20,  2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

'''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的自然语言处理（NLP）模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到10²³训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。

'''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的[[自然语言处理]]模型来说一直具有挑战性（Rae等人，2021年；Bommasani等人，2021年；Nye等人，2021年）。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题（Cobbe等人，2021年；Wei等人，2022年b；Suzgun等人，2022年）。正如下图A所示，当规模扩大到10²³训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现（Lampinen等人，2022年）。

'''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读'''描述任务'''的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（8B参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约100B参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

'''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读'''描述任务'''的指令来执行新任务（无需示例）。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应（Ouyang等人，2022年；Wei等人，2022年a；Sanh等人，2022年；Chung等人，2022年）。如图B所示，Wei等人（2022年a）发现，这种指令微调技术对于训练FLOPs为7×10²¹（8B参数）或更小的模型有损害，只有当规模扩大到10²³训练FLOPs（约100B参数）时，才会提高模型能力（尽管Sanh等人（2022年）随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导）。

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|800x800像素]]

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|800x800像素]]