集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织 - 用户贡献 [zh-cn]

大语言模型的涌现

2025-06-08T05:34:49Z

嘉树：/* 大语言模型能力的涌现现象 */ 更改fewshot图片

大语言模型（LLMs）的快速发展使人们看到很多神奇的现象，比如[[神经标度律]]、[[涌现]]、[[顿悟]]等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

=历史溯源=
[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者[[菲利普·安德森]]在一篇名为 “多者异也 (More is Different)”<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了安德森对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

这些能力包括数学推理（如多步计算与逻辑判断）、[[链式思维]]（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等。所有这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。

足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。

诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|603x603px]]

从技术发展史角度看，涌现能力的发现标志着[[自然语言处理]]研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出[[神经标度律]]和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。

{| class="wikitable"
|+大语言模型的涌现能力
|-
!模型!!发布时间!!参数量!!关键涌现能力
|-
|GPT-3||2020年5月||175B||上下文学习、简单推理
|-
|Gopher||2021年12月||280B || 复杂问答、知识整合
|-
|PaLM||2022年4月|| 540B ||多步推理、代码生成
|-
|Chinchilla||2022年7月||70B||高效知识压缩(数据优化)
|-
|GPT-4||2023年3月||1T+ ||多模态理解、高阶推理
|}

=大语言模型能力的涌现现象=

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。
[[文件:Wei2023Table1.png|替代=|居中|缩略图|507x507像素|大语言模型出现涌现现象的门槛训练FLOPs和参数量<ref name=":0" />]]

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。
[[文件:Fewshotcn2.png|替代=|居中|缩略图|432x432像素|少量样本提示示意图]]

==使用少量样本提示的任务==
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。

[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]

* '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 1022 FLOPs（约有13B参数），LaMDA达到1023 FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
* '''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是刻意针对GPT-3模型而策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×1023 FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoﬀmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/
2112.11446.</ref>。
* '''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。
* '''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/
forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为1022（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×1023训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。
* '''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×1023 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×1024 FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

==使用增强提示策略的任务==
[[增强提示]]是指通过在用户原始问题之外添加补充信息（如背景知识、具体约束或示例）来引导大模型生成更精准、高质量的回复。下面是一些会用到增强提示的任务。

* '''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的[[自然语言处理]]模型来说一直具有挑战性<ref name="Rae2021" /><ref name="Bommasani2021">Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E. et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021. URL https://arxiv.org/abs/2108.07258.</ref><ref name="Nye2021">Nye, M., Andreassen, A. J., Gur-Ari, G., Michalewski, H., Austin, J., Bieber, D., Dohan, D., Lewkowycz, A., Bosma, M., Luan, D. et al. Show your work: Scratchpads for intermediate computation with language models. arXiv preprint arXiv:2112.00114, 2021. URL
https://openreview.net/forum?id=iedYJm92o0a.</ref>。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题<ref name="chain-of-thought" /><ref name="Cobbe2021">Cobbe, K., Kosaraju, V., Bavarian, M., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021. URL https://arxiv.org/abs/2110.14168.</ref><ref name="Suzgun2022>Suzgun, M., Scales, N., Scharli, N., Gehrmann, S., Tay, Y., Chung, H.Y., Chowdhery, A., Le, Q.V., Chi, E.H., Zhou, D., & Wei, J. Challenging BIG-Bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022. URL https://arxiv.org/abs/2210.09261.</ref>。正如下图A所示，当规模扩大到1023训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现<ref name="Lampinen2022年">Lampinen, A.k., Dasgupta, I., Chan, S. C.Y., Matthewson, K., Tessler, M.H., Creswell, A., McClelland, J.L., Wang, J.X., & Hill, F. Can language models learn from explanations in context? Findings of EMNLP, 2022. URL https://arxiv.org/abs/2204.02329.</ref>。
* '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raﬀel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaﬃn, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×1021（8B参数）或更小的模型有损害，只有当规模扩大到1023训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。
* '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)技术是一种令模型在输出最终答案之前将问题分解为多个中间步骤的技术，和[[思维链技术]]不同，草稿本的中间步骤可以不使用自然语言，也可以不暴露给用户，就像是打草稿。这种技术能使模型更有效地执行多步骤计算任务<ref name="Nye2021" />。研究发现，在8位数相加任务中，使用草稿本技术仅仅对训练FLOPs约为9×1019（40M参数）或更大的模型有帮助（如图C所示）。
* '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，在二选一的情境下，模型在大约3×1023训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。

[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]

=基于下游任务的涌现的影响因素及争议=

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。

所谓幻觉是指大模型的涌现现象来自人为的度量指标选择。非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>

假设存在一个真实的但未知的概率分布 <math>p </math>以及一个具有N个参数的模型，它给出的预测分布为<math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
:<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math>

因此模型在给定输入的情况下，正确预测出单个token的概率为：
:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math>
如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以得到平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math>
如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，我们就观察到了模型能力随模型规模增大而非线性增长的曲线，即呈现出了涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如[[token编辑距离]](Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模展现出平滑、连续和可预测的变化，即未出现涌现现象。

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就不会有涌现现象<ref name=":mirage" />。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：

1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；

2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；

3. 在较大参数范围内采样不足。

但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配的指标。比如以计算10+11=21为例，如果用token编辑距离作为评估指标，模型输出22时，距离等于1，输出11时，距离也等于1，但显然22比11更接近正确答案21。这时候再用token编辑距离作为评估指标就不合理了<ref name=":Percolation">Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki></ref>。鉴于此，有学者提出关于涌现现象更为完整的定义<ref name=":Percolation" />：

一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：

P1: 在需要能力C的任务上，模型表现呈现非线性的明显提升；

P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。

P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。

在这篇文章<ref name=":Percolation" />当中，作者其实已经意识到，模型展现的涌现现象和它底层的某些结构是相关的。而在这种结构的层次上做度量，比单纯地刻画下游任务上的表现对于研究大语言模型的涌现来说更为关键。

=大语言模型的结构涌现=

在结构上，主流大语言模型均基于[[Transformer架构]]，根据历史输入预测下一个token的概率分布。Token是自然语言处理中文本切分的最小单位（字、词或子词）。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。所谓对大语言模型的结构进行度量和解释，便是基于Transformer模块的行为，对模型在token和语义层次上的动力学进行量化分析。这里的动力学机制由模型的权重参数和运行方式决定。

如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。这类涌现现象可以被看作是大语言模型的功能涌现。然而，结构决定功能。有没有可能在发生功能涌现的同时，大语言模型的内部也在发生结构上的涌现呢？这里的结构既指模型中的网络连接结构，又指模型的前向计算过程的动力学。自[[菲利普·安德森]]的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现现象<ref name="Hoel1">E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref name="Hoel2">E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>。我们猜想，大语言模型之所以会出现任务能力上的涌现或突变，背后对应着动力学机制上的涌现。如果我们想要解释甚至调控大语言模型的涌现现象，就需要从结构或动力学的角度对大语言模型的结构涌现进行度量，以及给出相应的理论解释。这样得到的量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。

==量化大语言模型的信息涌现==
受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现]]理论的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。

大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]，如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]

在这个动力学过程中有微观变量和宏观变量。'''微观变量'''指仅受单个输入token影响的token，例如 <math>h^0</math> 满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有输入token的信息，例如<math>h^{T-1}_{l+1}</math>满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。在这样的定义下，NTP机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程。根据《多者异也》的理论，有时候，宏观变量的行为状态无法从任何一个微观变量中推出，但这并不意味着宏观变量可以无中生有。文中除了马尔可夫假设以外，还提出了随附性假设<ref name="IE" />，即当一个系统的微观动力学机制确定时，它的宏观动力学机制也就随之确定了。

基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />：

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l</math> 表示宏观变量， <math>h^{mi}_l</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度定义为：

:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

给定一个序列和Transformer模块，我们如何得到宏微观变量？假设给定的输入序列是“large language model”，那么为了得到每一个token作为微观变量时的输入输出表征，我们需要把每一个token作为当前输入的首个token。比如输入是“large language model”时，我们可以得到“large”作为微观输入表征时的输出表征；把输入序列改成“language model”，就可以得到“language”作为微观输入表征时的输出表征；把输入序列改成“model”，就可以得到“model”作为微观输入表征时的输出表征。而对于宏观变量，则是全序列“large language model”输入时最后一个token（“model”）对应的输入和输出表征。这样做保证了微观变量状态只取决于单个的token，而宏观变量状态则取决于整个序列的信息。

计算[[互信息]]需要知道变量的概率分布。为了在大语言模型的高维状态空间上估计概率分布，作者使用了[[互信息神经估计算法]]（Mutual information neural estimation，MINE）<ref>M. I. Belghazi, A. Baratin, S. Rajeshwar, S. Ozair, Y. Bengio, A. Courville, and D. Hjelm. Mutual information neural estimation. In International conference on machine learning, pages531–540. PMLR, 2018.</ref>来得到宏微观变量的概率分布。

下图展示了IE更加体现语义忠实度（Semantics Faithfulness），即一个指标能否真实反映语言模型理解句子含义的能力。该实验使用了OpenOrca数据集中的例子，计算随着输入变长，大语言模型对语义把握的能力是否一直增长。传统的度量指标包括准确率、模型的损失等等。而从下图中可以看出，随着输入变长，这些指标并不总是单调增长的，而且波动很大。与之相比，IE总是在增长（即图中曲线总为正值），而且结果非常稳定。

[[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]

IE可以用来直接指示大模型能力的提升。研究中评估了8个算术任务（一位数和两位数的加减乘除）的表现与IE值之间的关联关系（如下图所示）。当参数量达到<math>10^9</math> 至 <math>10^{10}</math>时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围内，平均IE值也显著增加。

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|767x767px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]

==基于大语言模型结构的多尺度解释==

根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？

近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。

[[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]]

根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的[[因果图]]，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？

[[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]]

上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。

第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。[[因果图]]的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成[[干预]]的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。

[[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]]

如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。

第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。

[[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]]

一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。

=大语言模型涌现的机制解释=

大语言模型为什么会出现涌现现象？通过上文的讨论我们知道，有些涌现现象可能来自幻觉（度量指标的选取），但有很多涌现现象即使是用连续的指标度量也会被观测到。对于这些真实的涌现现象，我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。

涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的[[神经标度律]]。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作。对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。

==知识量子理论==
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时，就是在学一个个知识量子。下表给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。

{| class="wikitable"
|+自动发现的大语言模型知识量子
|-
! Cluster 50: 递增数列片段 !! Cluster 100: 换行预测片段
|-
|
01-Mi Querencia (Simón Díaz)\n 
02-Tonada De Luna Llena (Simón Díaz)\n 
03-Sabana (José Salazar/Simón Díaz)\n 
04-Caballo Viejo (Simón Díaz)\n 
05-Todo Este Campo Es Mío (Simón Díaz)\n 
06-La Pena Del Becerrero (Simón Díaz)\n 
'''07'''
|
Pursuant to 5TH CIR. R. 47.5, the court has determined\n that this opinion should not be published and is not precedent\n except under the limited circumstances set forth in 5TH CIR.'''\n'''
|-
|
...from opening a through road or street for public use across said public park in the Park of The City of Riverton." (Emphasis supplied.)\n 
Appealing from that order, the city asserts (1) plaintiffs have no standing or right to maintain the action; (2) that the proposed road was in an undedicated part of the park; (3) that the proposed road was an access road and not a through street or part of the city's street system.('''4'''
|
TO PERFORM QUADRATIC REGRESSION\n 
ON THE TI84 GRAPHING CALCULATOR.\n 
DETERMINE HOW WELL THE REGRESSION MODEL FITS THE DATA.\n 
AND THEN MAKE PREDICTIONS USING THE REGRESSION EQUATION.\n 
IN STATISTICS, REGRESSION ANALYSIS INCLUDES\n 
ANY TECHNIQUES USED FOR MODELING '''\n'''
|-
|
4. Introduction\n 
5. Chapter 1: What Is Trust?\n 
6. Chapter 2: Trust Brings Rest\n 
7. Chapter 3: Who Can I Trust?\n 
8. Chapter 4: The Folly of Self-Reliance\n 
9. Chapter 5: Trust God and Do Good (Part 1)\n 
10. Chapter 6: Trust God and Do Good (Part 2)\n 
11. Chapter 7: At All Times\n 
12. Chapter '''8'''
|
creddump is free software: you can redistribute it and/or modify\n 
it under the terms of the GNU General Public License as published by\n 
the Free Software Foundation, either version 3 of the License, or\n 
(at your option) any later version.\n 
\n 
creddump is distributed in the hope that it will be useful.'''\n'''
|-
|
The chosen sites were recorded as:0 = sound (n = 13);1 = first visible sign of noncavitated lesion seen only when the tooth is dried;2 = visible noncavitated lesion seen when wet and dry;3 = microcavitation in enamel;4 = noncavitated lesion extending into dentine seen as an undermining shadow;5 = small cavitated lesion with visible dentine (less than 50% of surface);'''6'''
|
/**\n 
Copyright (c) 2019. The Android Open Source Project\n 
\n 
Licensed under the Apache License, Version 2.0 (the "License");\n 
you may not use this file except in compliance with the License.'''\n'''
|-
|
QCBlock List Msg = 0x0a \n 
Get Latest Status Msg = 0x0b \n 
Latest Status Msg = 0x0c \n 
Prepare Block HashMsg = 0x0d \n 
Get View Change Msg = 0x0e \n 
Ping Msg = 0x0'''f'''
|
children have a lack of maturity and an underdeveloped\n sense of responsibility, leading to recklessness, impul-\nsivity, and heedless risk-taking... Second, children\n are more vulnerable to negative influences and\n outside pressures, including from their family and\n peers; they have limited control over their own envi-'''\n'''
|}

比如上表中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识（每个例子最后的粗体标注内容是该知识量子所涵盖的）。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

那么，知识量子理论能否用来解释[[涌现]]，以及建立起涌现和[[神经标度律]]之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值时损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是[[神经标度律]]。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。

[[文件:Quanta emerg.png|无|缩略图|646x646px|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]

==渗流模型==
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型中的涌现现象。

涌现是自然科学中的一个特征现象，它与相变的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化。例如，学习一种语言的句法会影响所有下游的能力。

[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]

Lubana等人<ref name=":Percolation" />提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。他们提出概念类的结构，并将概念类抽象为二分图，并将其学习过程建模为二分图上的渗流问题。在以二分图表征的大语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

=== 数据的矩阵表示 ===

“概念类”的定义为一组预期具有共享属性的实体。Lubana等人用概念密度矩阵来表示这种数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。

'''概率密度矩阵：'''设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。

接下来引入概念传播矩阵来建模从非完整数据中推断新组合的过程：

'''概念传播矩阵：'''第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。

=== 描述性约束的渗流转变 ===

在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例。这种情况恰好对应于二分图上的键渗流问题。

在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型组件。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着系统组件数增加，这一转变会愈发陡峭。

[[文件:Percolation-二分图.png|无|缩略图|800x800px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)当数据集中只包含一部分概念类且边密度较低时，节点(例如,实体和属性)形成许多不连通的簇，用不同的颜色表示(左边)。随着更多的概念类被添加到二分图中(虚边)，小的簇开始合并(中间)。在足够多的边的情况下，宏观数量的节点连接起来，形成单个簇(右)。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]]

在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的集群规模会出现质变。对于<math>p>p_c</math>，属于连通集群的节点数将呈宏观规模，即随机选择的实体-属性对相连的概率为有限值。

渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。

=== 语言学习中的涌现能力 ===

Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。实验使用的形式语言是最小上下文敏感的，其句法规则由上下文无关语法定义，而上下文敏感性则通过后验的类型约束实现。

[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现]]

在Lubana等人的实验中，大语言模型的学习过程分为三个阶段：

'''阶段1：语法获取'''

模型首先学习生成合乎语法的句子（通过语法性指标衡量）。在语法性提升的同时，词元准确率开始改善。这表明模型对数据通用结构（即语法）的学习会影响其他能力的学习。

'''阶段2：关系性类型约束的获取'''

性能提升是由那些主要需要语法正确性和关系性类型约束的句子驱动的。一旦学习到语法和关系性类型约束，模型就会学习使用它们来解决不需要描述性属性知识的输入，从而导致损失和准确性的突然提高。

'''阶段3：描述性类型约束的学习'''

模型基于类型约束图的结构进行隐式推理，哪些属性和实体构成了有效的上下文。这个阶段的结束对应着从记忆到通用解的转变。

其研究基于物理学和复杂系统等领域的相变现象提出了神经网络能力涌现的现象学定义——在涌现点模型会获取对特定能力学习至关重要的通用结构；这些结构的掌握进而导致多项任务性能的突然提升。通过与相变现象的类比，该模型强调语法性和类型约束在此充当序参量，能够近似预测任务性能突跃的时间。研究人员进一步通过形式语言学习任务验证了这一观点：模型先学习语言的两大基础结构（语法和类型约束），随后在数据中观察到具体任务的性能提升。

=总结=

在大语言模型百花齐放的今天，我们很容易观察到大语言模型在特定能力上表现出的非线性跃迁特征：当模型规模较小时，这些能力完全不存在；但当参数规模突破某一临界点后，模型会突然展现出如复杂推理、上下文学习等新能力。这便是涌现现象。如果说平滑增长的神经标度律承诺我们，只要投入足够的资源，大模型的能力一定会持续增长。那么涌现现象便是在说，我们有可能四两拨千斤，在有些时候，只要让投入资源的规模再扩大一点，就可以获得出乎意料的超额回报。于是对于大模型涌现的描述、解释和预测是值得关注的重要课题。

但目前，学者们对于大模型涌现的描述更多停留在定性层面，而且受到下游任务设计、度量指标选取等诸多因素的影响。本词条综述了部分对于大模型涌现的代表性研究，而对于大模型涌现的机制解释，对于涌现、顿悟、神经标度律的统一理论解释，还有很大的领域空白，尤其是在如何借鉴复杂系统研究中的涌现相关理论上。未来随着可解释性人工智能技术的进一步发展，我们将对大模型涌现现象有更加深刻的理解。

=参考文献=
<references />

相关读书会：

https://pattern.swarma.org/study_group_issue/446

文件:Fewshotcn2.png

2025-06-08T05:34:32Z

嘉树：

fewshot 中文版 2

文件:Fewshotcn.png

2025-06-08T05:32:33Z

嘉树：

fewshot 中文版

大语言模型的涌现

2025-06-08T04:09:58Z

嘉树：/* 大语言模型能力的涌现现象 */ 上传一个表格的中文翻译

大语言模型（LLMs）的快速发展使人们看到很多神奇的现象，比如[[神经标度律]]、[[涌现]]、[[顿悟]]等等。其中涌现现象是指，某种能力在小规模模型中不存在，但当模型增长到一定规模时，突然拥有了这项能力<ref name=":0">Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent Abilities of Large Language Models (arXiv:2206.07682). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2206.07682</nowiki></ref>。可见，涌现现象不能通过简单地外推小规模模型的能力来预测<ref name=":0" />，而度量和理解大语言模型的涌现对大模型进一步的发展至关重要。

=历史溯源=
[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者[[菲利普·安德森]]在一篇名为 “多者异也 (More is Different)”<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了安德森对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

这些能力包括数学推理（如多步计算与逻辑判断）、[[链式思维]]（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等。所有这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。

足够复杂的大语言模型除了具有涌现现象，还会出现[[神经标度律]]（Neural Scaling Laws）、[[顿悟]]（Grokking）、[[双下降]]（Double Descent）等现象。[[神经标度律]]是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。

诸如神经标度律等现象，人们在大语言模型之前也有在一般的神经网络上发现。而对于涌现现象，Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（Beyond the imitation game, BIG-bench）来系统地评估大语言模型的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|603x603px]]

从技术发展史角度看，涌现能力的发现标志着[[自然语言处理]]研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出[[神经标度律]]和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。

{| class="wikitable"
|+大语言模型的涌现能力
|-
!模型!!发布时间!!参数量!!关键涌现能力
|-
|GPT-3||2020年5月||175B||上下文学习、简单推理
|-
|Gopher||2021年12月||280B || 复杂问答、知识整合
|-
|PaLM||2022年4月|| 540B ||多步推理、代码生成
|-
|Chinchilla||2022年7月||70B||高效知识压缩(数据优化)
|-
|GPT-4||2023年3月||1T+ ||多模态理解、高阶推理
|}

=大语言模型能力的涌现现象=

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。
[[文件:Wei2023Table1.png|替代=|居中|缩略图|507x507像素|大语言模型出现涌现现象的门槛训练FLOPs和参数量<ref name=":0" />]]

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。

[[文件:Fewshotexample.png|缩略图|居中|少量样本提示示意图|432x432像素]]

==使用少量样本提示的任务==
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。

[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]

* '''BIG-Bench.''' BIG-Bench是一个用于语言模型评估的众包基准测试套件，包含超过200个基准测试<ref name="BigBench2022">BIG-Bench. Beyond the imitation game: Measuring and extrapolating the capabilities of language models. arXiv preprint arXiv:2206.04615, 2022. URL https://arxiv.org/abs/2206.04615.</ref>，下图A-D展示了来自BIG-Bench的四种表现出涌现的任务。图A展示了一个算术计算基准测试，测试3位数加减法以及2位数乘法。GPT-3和LaMDA<ref name="Thoppilan202">Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H-T., Jin, A., Bos, T., Baker, L., Du, Y. et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022. URL https://arxiv.org/abs/2201.08239. </ref>在训练计算量为几个数量级时准确率接近零，之后，GPT-3的训练计算量在达到2 × 1022 FLOPs（约有13B参数），LaMDA达到1023 FLOPs（约为68B参数）时，模型能力急剧跃升至远高于随机水平。类似的涌现行为也发生在相同规模的其他任务上，例如国际音标转写（图B）、从混乱字母中恢复单词（图C）以及波斯语问答（图D）。
* '''TruthfulQA.''' TruthfulQA 基准测试可以衡量回答问题真实性的能力<ref name="Lin2021">Lin, S., Hilton, J., & Evans, O. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. URL https://arxiv.org/abs/2109.07958.</ref>，图2E展示了少量提示模型在TruthfulQA基准测试上的能力。这个基准测试是刻意针对GPT-3模型而策划的，因此即使规模扩大到最大，GPT-3的能力也没有超过随机水平。小型Gopher模型在训练计算量扩大到最大，即5×1023 FLOPs（280B参数）之前，能力也没有超过随机水平，而在达到这一规模后，能力跃升至超过随机水平20%以上<ref name="Rae2021">Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoﬀmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S. et al. Scaling language models: Methods, analysis and insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL https://arxiv.org/abs/
2112.11446.</ref>。
* '''基于文本网格世界中的概念域映射''' (Grounded conceptual mappings). 图F展示了基于文本网格世界中的概念域映射任务<ref name="Patel2022">Patel, R. & Pavlick, E. Mapping language models to grounded conceptual spaces. ICLR, 2022. URL https://openreview.net/forum?id=gJcEM8sxHK.</ref>，这里语言模型必须学会映射一个概念域，例如将一个基于文本网格世界的基本方向映射出来。同样，只有使用最大的GPT-3模型，能力才会跃升至超过随机水平。
* '''多任务语言理解'''（Multi-task language understanding）. 图G展示了大规模多任务语言理解（MMLU）基准测试，该测试汇总了涵盖数学、历史、法律等多个领域的57项测试<ref name="Hendrycks2021a">Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. Measuring massive multitask language understanding. ICLR, 2021a. URL https://openreview.net/
forum?id=d7KBjmI3GmQ.</ref>。对于GPT-3、Gopher和Chinchilla模型，训练FLOPs约为1022（参数约为10B）或更小时，模型在所有主题上的平均表现并不比随机猜测更好，而将规模扩大到3到5×1023训练FLOPs（70B-280B参数），模型能力大幅超越随机水平。这一结果可能意味着对于没有检索或访问外部记忆功能的密集语言模型而言，解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值。
* '''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试<ref name="Pilehvar2019">Pilehvar, M. T. and Camacho-Collados, J. WiC: the word-in-context dataset for evaluating context-sensitive meaning representations. NAACL, 2019. URL https://aclanthology.org/N19-1128.</ref>。值得注意的是，即使模型规模扩大到最大（约5×1023 FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×1024 FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

==使用增强提示策略的任务==
[[增强提示]]是指通过在用户原始问题之外添加补充信息（如背景知识、具体约束或示例）来引导大模型生成更精准、高质量的回复。下面是一些会用到增强提示的任务。

* '''推理任务'''. 推理任务，特别是涉及多个步骤的任务，对于语言模型和更广泛的[[自然语言处理]]模型来说一直具有挑战性<ref name="Rae2021" /><ref name="Bommasani2021">Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E. et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021. URL https://arxiv.org/abs/2108.07258.</ref><ref name="Nye2021">Nye, M., Andreassen, A. J., Gur-Ari, G., Michalewski, H., Austin, J., Bieber, D., Dohan, D., Lewkowycz, A., Bosma, M., Luan, D. et al. Show your work: Scratchpads for intermediate computation with language models. arXiv preprint arXiv:2112.00114, 2021. URL
https://openreview.net/forum?id=iedYJm92o0a.</ref>。最近的一种称为思维链(Chain-of-Thought, CoT)提示的提示策略，能够引导模型在给出最终答案之前生成一系列中间步骤，最终帮助模型解决问题<ref name="chain-of-thought" /><ref name="Cobbe2021">Cobbe, K., Kosaraju, V., Bavarian, M., Hilton, J., Nakano, R., Hesse, C., & Schulman, J. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168, 2021. URL https://arxiv.org/abs/2110.14168.</ref><ref name="Suzgun2022>Suzgun, M., Scales, N., Scharli, N., Gehrmann, S., Tay, Y., Chung, H.Y., Chowdhery, A., Le, Q.V., Chi, E.H., Zhou, D., & Wei, J. Challenging BIG-Bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022. URL https://arxiv.org/abs/2210.09261.</ref>。正如下图A所示，当规模扩大到1023训练 FLOPs（约100B参数）时，思维链提示超越了没有中间步骤的标准提示。当在少样本提示后附加解释来增强提示时，也观察到了类似的能力提升涌现<ref name="Lampinen2022年">Lampinen, A.k., Dasgupta, I., Chan, S. C.Y., Matthewson, K., Tessler, M.H., Creswell, A., McClelland, J.L., Wang, J.X., & Hill, F. Can language models learn from explanations in context? Findings of EMNLP, 2022. URL https://arxiv.org/abs/2204.02329.</ref>。
* '''指令跟随(Instruction Following)'''. 另一种日益增多的研究旨在使语言模型通过阅读一段对于任务的描述来执行新任务，但不给出少量样本示例。通过在混合了各种指令式任务的数据上进行微调，语言模型已被证明能够进行适当的响应<ref name="Finetuned" /><ref name="Ouyang2022">Ouyang,L., Wu, J., Jiang, X., Almeida, D., Wainwright, C.L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A. et al. Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155, 2022. URL https://arxiv.org/abs/2203.02155.</ref><ref name="Sanh2022">Sanh, V., Webson, A., Raﬀel, C., Bach, S., Sutawika, L., Alyafeai, Z., Chaﬃn, A., Stiegler, A., Scao, T.L., Raja, A. et al. Multitask prompted training enables zero-shot task generalization. ICLR, 2022. URL https://openreview.net/forum?id=9Vrb9D0WI4.</ref><ref name="Chung2022">Chung, H.W., Hou, L., Longpre, S., Zoph, B., Tay, Y., Fedus, W., Li, E., Wang, X., Dehghani, M., Brahma, S. et al. Scaling instruction-finetuned language models. arXiv preprint arXiv:2210.11416, 2022. URL https://arxiv.org/abs/2210.11416.</ref>。如图B所示，这种指令微调技术对于训练FLOPs为7×1021（8B参数）或更小的模型有损害，只有当规模扩大到1023训练FLOPs（约100B参数）时，才会提高模型能力<ref name="Finetuned" />（尽管有研究者随后发现，这种指令跟随的行为也可以通过微调更小的 encoder-decoder T5 模型来诱导<ref name="Sanh2022" />）。
* '''程序执行.''' 考虑涉及多个步骤的计算任务，例如大数相加或执行计算机程序。有研究者展示了通过微调语言模型以预测中间输出：草稿本(Scratchpad)技术是一种令模型在输出最终答案之前将问题分解为多个中间步骤的技术，和[[思维链技术]]不同，草稿本的中间步骤可以不使用自然语言，也可以不暴露给用户，就像是打草稿。这种技术能使模型更有效地执行多步骤计算任务<ref name="Nye2021" />。研究发现，在8位数相加任务中，使用草稿本技术仅仅对训练FLOPs约为9×1019（40M参数）或更大的模型有帮助（如图C所示）。
* '''模型校准（Calibration）.''' 模型校准能够衡量模型预测其回答正确率的能力，代表了模型回答问题的可靠程度。举个例子，当模型给出回答A的采样概率是90%时，说明它有九成把握自己做对了，而如果实际情况真的是10次问题中有9次做对了，说明模型有很高的校准能力。研究者使用平均校准误差（Expected Calibration Error，ECE）来度量模型校准能力的大小。有研究者比较了两种衡量校准的情境<ref name=":Kadavath2022">Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, E., Perez, E., Schiefer, N., Hatfield-Dodds Z., et al. (2022) Language Models (Mostly) Know What They Know.(arXiv:2207.05221). arXiv. https://arxiv.org/abs/2207.05221</ref>：一种是T/F判断题，在提示中会给出一段陈述，让模型给出“正确”或者“错误”的回答。另一种则是单选题，让大模型直接在多个选项中选择正确的答案。如图D所示，在二选一的情境下，模型在大约3×1023训练FLOPs（52B参数）的时候出现了涌现现象，而单选题的情境下模型校准能力一直以幂律的形式平滑增长。

[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]

=基于下游任务的涌现的影响因素及争议=

上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。

所谓幻觉是指大模型的涌现现象来自人为的度量指标选择。非线性的或不连续的度量导致我们观察到模型能力的突变和涌现，如果改变度量，则会观察到模型能力的连续变化。这一点可以通过对不同度量方式的定性分析而展现<ref name=":mirage" />：比如，假设模型有N个参数(N>0)，模型的每token的[[交叉熵]]随参数量增加而以幂函数的形式下降：
:<math>L_{CE}(N) = (\frac{N}{c})^{a}, ~ c>0, ~ a<0</math>

假设存在一个真实的但未知的概率分布 <math>p </math>以及一个具有N个参数的模型，它给出的预测分布为<math>\hat{p}_N</math>，根据交叉熵的定义：<math>L_{CE}(N) = -\sum_{v \in V}p(v)\log\hat{p}_N(v)</math>, 其中<math>V</math>是可能的tokens的集合。由于p是未知的，可以用观测token <math>v^*</math>的one-hot分布来替代，于是得到
:<math>L_{CE}(N) = -\log\hat{p}_N(v^*)</math>

因此模型在给定输入的情况下，正确预测出单个token的概率为：
:<math>p(single~token~correct) = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})</math>
如下图a所示，此时模型能力的度量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以得到平缓增长的曲线。而若某任务是L位整数加法，当模型输出正确结果时，记录模型正确率为1，否则记为0，则此时模型的性能和模型参数量的关系为：
:<math>Accuracy(N)\approx p_N(single~token~correct)^{num. of tokens} = \exp (-L_{CE}(N)) = \exp(-(N/c)^{a})^L</math>
如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，我们就观察到了模型能力随模型规模增大而非线性增长的曲线，即呈现出了涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如[[token编辑距离]](Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模展现出平滑、连续和可预测的变化，即未出现涌现现象。

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就不会有涌现现象<ref name=":mirage" />。

总之，一些突变且不可预测的模型能力提升可以被如下因素所解释<ref name=":mirage" />：

1. 研究者采用了和每token错误率成非线性或非连续关系的度量指标，导致以每token错误率衡量的规模曲线平滑、连续且可预测的情况下，新指标呈现出突变和不可预测的曲线；

2. 在较小的参数范围内，由于分辨率（Resolution，在此被定义为可测的最小区间）不足，无法估计模型性能；

3. 在较大参数范围内采样不足。

但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配的指标。比如以计算10+11=21为例，如果用token编辑距离作为评估指标，模型输出22时，距离等于1，输出11时，距离也等于1，但显然22比11更接近正确答案21。这时候再用token编辑距离作为评估指标就不合理了<ref name=":Percolation">Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki></ref>。鉴于此，有学者提出关于涌现现象更为完整的定义<ref name=":Percolation" />：

一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：

P1: 在需要能力C的任务上，模型表现呈现非线性的明显提升；

P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。

P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。

在这篇文章<ref name=":Percolation" />当中，作者其实已经意识到，模型展现的涌现现象和它底层的某些结构是相关的。而在这种结构的层次上做度量，比单纯地刻画下游任务上的表现对于研究大语言模型的涌现来说更为关键。

=大语言模型的结构涌现=

在结构上，主流大语言模型均基于[[Transformer架构]]，根据历史输入预测下一个token的概率分布。Token是自然语言处理中文本切分的最小单位（字、词或子词）。大语言模型使用token来理解和处理文本，把句子分解为token后再进行模型计算和生成。然而，人类对于语言的理解不是在token的层次上，而是在语义（semantics）的层次上。我们可以通过对多个token的排列组合来理解和表达语义。所谓对大语言模型的结构进行度量和解释，便是基于Transformer模块的行为，对模型在token和语义层次上的动力学进行量化分析。这里的动力学机制由模型的权重参数和运行方式决定。

如前所述，目前大多数对于大语言模型涌现的刻画聚焦在具体下游任务的表现上，且都是定性的结论。这类涌现现象可以被看作是大语言模型的功能涌现。然而，结构决定功能。有没有可能在发生功能涌现的同时，大语言模型的内部也在发生结构上的涌现呢？这里的结构既指模型中的网络连接结构，又指模型的前向计算过程的动力学。自[[菲利普·安德森]]的《多者异也》之后，复杂性科学中对于复杂系统的涌现有了更多的认识。在观察者角度下，一个复杂系统同时具有微观和宏观尺度上的动力学，比如对于大语言模型来说，微观动力学是从已有的token生成下一个token，宏观动力学则可以是语义上的接龙和变化。作为一个对涌现定量研究的理论框架，[[因果涌现]]理论提出当宏观动力学因果效应强度大于微观动力学上的因果效应强度时，复杂系统发生涌现现象<ref name="Hoel1">E. P. Hoel, L. Albantakis, and G. Tononi. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences, 110(49):[[Tel:19790–19795|19790–19795]], 2013.</ref><ref name="Hoel2">E. P. Hoel, L. Albantakis, W. Marshall, and G. Tononi. Can the macro beat the micro? integrated information across spatiotemporal scales. Neuroscience of Consciousness, 2016(1):niw012, 2016.</ref>。我们猜想，大语言模型之所以会出现任务能力上的涌现或突变，背后对应着动力学机制上的涌现。如果我们想要解释甚至调控大语言模型的涌现现象，就需要从结构或动力学的角度对大语言模型的结构涌现进行度量，以及给出相应的理论解释。这样得到的量化结果不依赖于具体的任务设定或人为设定指标时额外引入的非线性。

==量化大语言模型的信息涌现==
受到Hoel<ref name="Hoel1" /><ref name="Hoel2" />和Rosas<ref name="rosas">F. E. Rosas, P. A. Mediano, H. J. Jensen, A. K. Seth, A. B. Barrett, R. L. Carhart-Harris, and D. Bor. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS computational biology, 16(12):e1008289, 2020.</ref>等人的[[因果涌现]]理论的启发，Chen等人<ref name="IE">Chen, H., Yang, X., Zhu, J., & Wang, W. (2024). Quantifying Semantic Emergence in Language Models (arXiv:2405.12617). arXiv.</ref>提出一种叫做'''信息涌现'''（Information Emergence, IE）的定量指标，来量化大语言模型从token序列中提取语义信息的能力。其核心观点是，如果大语言模型在整个序列上的熵减超过了一个个单个token的熵减，那么我们认为该大语言模型发生了涌现。

大语言模型的下一个token预测机制（Next-token-prediction，NTP）可以被建模为一个[[马尔可夫过程]]，如下图所示。对于任意的Transformer模块 <math>l</math> ，给定输入token长度T和隐状态维度D，输入表征由 <math>H_l = \{ h^0_l, h^1_l, h^2_l, ..., h^{T−1}_l \}</math> 表示，输出表征为 <math>H_{l+1} = \{ h^0_{l+1}, h^1_{l+1}, h^2_{l+1}, ..., h^{T−1}_{l+1} \}</math> ，其中 <math>H \in R^{T×D}</math> , <math>h^t \in R^{1×D}</math> 。一个模块的输出表征就是下一个模块的输入表征。以图中第0块中第2个token的输出表征（<math>h_1^2</math>）为例，它接收来自输入表征<math>h_0^0、h_0^1</math> 和<math>h_0^2</math> 的信息，满足条件 <math>p_{h_{1}^{2} | H_0^{\leq 2}} = p_{h_{1}^{2} | h_0^0, h_0^1, h_0^2}</math>。可见，整个动力学过程由条件概率表示。当条件概率被给定时，每一个模块的输出表征状态仅由该模块的输入表征决定，所以它可以被假设为是一个马尔可夫过程。

[[文件:Screenshot 2025-04-06 at 17.31.11.png|无|缩略图|800x800像素|NTP机制与马尔可夫过程的类比。]]

在这个动力学过程中有微观变量和宏观变量。'''微观变量'''指仅受单个输入token影响的token，例如 <math>h^0</math> 满足转移概率 <math>p_{ h^0_{l+1} | h^0_l }</math> ；'''宏观变量'''则聚合所有输入token的信息，例如<math>h^{T-1}_{l+1}</math>满足转移概率<math>p_{ h^{T-1}_{l+1} | h^0_l, h^1_l, h^2_l, ..., h^t_l }</math> 。在这样的定义下，NTP机制可以看作是从最微观尺度向最宏观尺度逐步粗粒化的过程。根据《多者异也》的理论，有时候，宏观变量的行为状态无法从任何一个微观变量中推出，但这并不意味着宏观变量可以无中生有。文中除了马尔可夫假设以外，还提出了随附性假设<ref name="IE" />，即当一个系统的微观动力学机制确定时，它的宏观动力学机制也就随之确定了。

基于以上两个假设，文章中对大语言模型的信息涌现做了如下定义<ref name="IE" />：

对于任意的Transformer模块 <math>l</math> ， <math>h^{ma}_l</math> 表示宏观变量， <math>h^{mi}_l</math> 表示微观变量，MI(·，·) 表示互信息，模块 <math>l</math> 的IE强度定义为：

:<math>E(l) = MI (h^{ma}_{l+1}, h^{ma}_l) - \sum_{t=0}^{T-1} \frac{MI(h^{mi\_t}_{l+1}, h^{mi\_t}_l)}{T}</math>

给定一个序列和Transformer模块，我们如何得到宏微观变量？假设给定的输入序列是“large language model”，那么为了得到每一个token作为微观变量时的输入输出表征，我们需要把每一个token作为当前输入的首个token。比如输入是“large language model”时，我们可以得到“large”作为微观输入表征时的输出表征；把输入序列改成“language model”，就可以得到“language”作为微观输入表征时的输出表征；把输入序列改成“model”，就可以得到“model”作为微观输入表征时的输出表征。而对于宏观变量，则是全序列“large language model”输入时最后一个token（“model”）对应的输入和输出表征。这样做保证了微观变量状态只取决于单个的token，而宏观变量状态则取决于整个序列的信息。

计算[[互信息]]需要知道变量的概率分布。为了在大语言模型的高维状态空间上估计概率分布，作者使用了[[互信息神经估计算法]]（Mutual information neural estimation，MINE）<ref>M. I. Belghazi, A. Baratin, S. Rajeshwar, S. Ozair, Y. Bengio, A. Courville, and D. Hjelm. Mutual information neural estimation. In International conference on machine learning, pages531–540. PMLR, 2018.</ref>来得到宏微观变量的概率分布。

下图展示了IE更加体现语义忠实度（Semantics Faithfulness），即一个指标能否真实反映语言模型理解句子含义的能力。该实验使用了OpenOrca数据集中的例子，计算随着输入变长，大语言模型对语义把握的能力是否一直增长。传统的度量指标包括准确率、模型的损失等等。而从下图中可以看出，随着输入变长，这些指标并不总是单调增长的，而且波动很大。与之相比，IE总是在增长（即图中曲线总为正值），而且结果非常稳定。

[[文件:IE token.png|替代=|无|缩略图|714x714px|IE和其他指标随着token数量增加的增长幅度的变化。纵轴度量的计算方式是(value(t) − value(t − 1))/value(t)。]]

IE可以用来直接指示大模型能力的提升。研究中评估了8个算术任务（一位数和两位数的加减乘除）的表现与IE值之间的关联关系（如下图所示）。当参数量达到<math>10^9</math> 至 <math>10^{10}</math>时，任务性能出现显著提升，表明存在涌现现象。在同一参数范围内，平均IE值也显著增加。

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]

==基于大语言模型结构的多尺度解释==

根据前文提及的[[因果涌现]]理论，涌现的发生涉及从微观到宏观的多个尺度。当人们在用语言交谈时，实际上在传递宏观层面的语义，和知识量子较为相似。它与大模型参数的对应关系是大模型可解释性的关键所在，同时是非常复杂的。往往一个语义要与多个参数相对应，而同一个参数也会参与不同语义的形成当中，即神经元的多义性，因为语言世界中的概念（语词之间有意义的排列组合）一般远多于神经网络的参数。那大语言模型是否真正把握了语言中的宏观规律，并且主要由这些宏观的理解来完成任务呢？

近期，开发Claude大模型的团队Anthropic公司提出了一系列基于Claude行为表现的大模型可解释性工作 <ref>Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.</ref><ref>Ameisen, et al., "Circuit Tracing: Revealing Computational Graphs in Language Models", Transformer Circuits, 2025.</ref>，名为AI生物学（AI biology）。他们对于大模型解释的架构主要来自跨层转码器（Cross-Layer Transcoder，CLT）的应用。如下图所示，CLT内部有编码器和解码器，每一个CLT模块把某一层的残差作为输入，解码的输出则重构预测该层后续所有层的输出，同时考虑解码器权重的正则化，使得token和CLT表征之间的对应关系可以尽可能稀疏。

[[文件:Claude CLT.png|无|缩略图|434x434px|CLT的示意图]]

根据训练好的CLT，我们可以根据CLT权重和隐变量的激活程度构建输入token、中间层表征以及预测token之间的[[因果图]]，也就能看清大模型作出预测的路径是怎样的了。下面我们主要介绍三个案例来分析大模型内部的“思考过程”。第一个问题是，大模型如何横跨多种语言完成交流？

[[文件:Claude bilang.png|无|缩略图|602x602px|面对同一个问题（“小”的反义词是什么）的不同语言表述，大模型内部除了有针对不同语言的专门的模块以外，还有一个语义理解的共享模块。]]

上图是一个高度简化版的因果图，提示词是多国语言版本的相同问题：“小的反义词是什么”。每一个语言下的问题都会涉及一个和语言相关模块，提示大模型要用特定的语言回答。更重要的是，它们都用到一个共享的表征，其中涉及3个概念：“小”、“反义词”、“大”。这个表征与特定的语言无关。而且模型越大，这种共享表征占比就更多。这证实了大模型的“思考”发生在一个与语言种类无关的抽象的语义空间里。它说明，从一种语言中学到的知识，Claude可以直接迁移到其他语言当中。

第二个问题是，大模型如何写诗？人们之前猜测，因为大模型每次都只预测下一个词，所以不会对一首诗做整体规划，而是每次预测下一个词的时候一方面保证结尾押韵，另一个方面保证它是通顺合理的。结果，团队发现Claude在写诗时有在做提前规划，如下图所示。比如在第一行诗的结尾“grab it”的后面，模型马上开始考虑以“rabbit”作为第二句的结尾来押韵。[[因果图]]的要义在于我们可以对某个变量施加[[干预]]，看看会发生什么，这也是神经科学家研究大脑功能的方法论。在AI生物学这个工作里，作者可以通过修改某一个CLT的隐变量来达成[[干预]]的目的。如果我们去除中间层“rabbit”这个表征，大模型还有其他的候选韵脚，比如“habit”。如果把中间层的词换成“green”，大模型仍然可以以它作为结束完成一首有意义的小诗。

[[文件:Claude poem.png|无|缩略图|608x608px|图中浅蓝色部分是提示词，橙红色部分是输出。]]

如果我们把词语接龙的过程看成是一个动力学过程，原本微观动力学是只预测下一个词，只会在最后一个词的时候考虑韵脚的问题。结果大模型是先确定了最后的韵脚词和候选词，再给出这句话的每一个词。这相当于是先“想”清楚了整个段落的宏观目标，再决定具体的微观上的词语选择，即发生了跨尺度的[[向下因果]]。如果这种能力是在达到某个规模阈值后拥有的，不难想象大模型会在各种写作和推理任务上表现有突然的提升。

第三个问题是，大模型如何完成各种数学计算任务？我们知道，大模型不会有针对数学任务的专门训练，一切相关的训练也都是在文本学习中完成的。而涌现现象，也往往是在数学推理这样复杂的任务上显著地体现出来。那大模型在完成数学运算时，究竟是靠强大的记忆力把所有计算结果都记住了，还是像我们在小学里学的那样，一步步学会的？事实上，大模型针对数学运算有两条并行的思考路径，如下图所示。

[[文件:Claude math.png|无|缩略图|608x608px|计算的36+59的内部思考过程。]]

一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。

=大语言模型涌现的机制解释=

大语言模型为什么会出现涌现现象？通过上文的讨论我们知道，有些涌现现象可能来自幻觉（度量指标的选取），但有很多涌现现象即使是用连续的指标度量也会被观测到。对于这些真实的涌现现象，我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。

涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的[[神经标度律]]。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作。对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。

==知识量子理论==
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时，就是在学一个个知识量子。下表给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。

{| class="wikitable"
|+自动发现的大语言模型知识量子
|-
! Cluster 50: 递增数列片段 !! Cluster 100: 换行预测片段
|-
|
01-Mi Querencia (Simón Díaz)\n 
02-Tonada De Luna Llena (Simón Díaz)\n 
03-Sabana (José Salazar/Simón Díaz)\n 
04-Caballo Viejo (Simón Díaz)\n 
05-Todo Este Campo Es Mío (Simón Díaz)\n 
06-La Pena Del Becerrero (Simón Díaz)\n 
'''07'''
|
Pursuant to 5TH CIR. R. 47.5, the court has determined\n that this opinion should not be published and is not precedent\n except under the limited circumstances set forth in 5TH CIR.'''\n'''
|-
|
...from opening a through road or street for public use across said public park in the Park of The City of Riverton." (Emphasis supplied.)\n 
Appealing from that order, the city asserts (1) plaintiffs have no standing or right to maintain the action; (2) that the proposed road was in an undedicated part of the park; (3) that the proposed road was an access road and not a through street or part of the city's street system.('''4'''
|
TO PERFORM QUADRATIC REGRESSION\n 
ON THE TI84 GRAPHING CALCULATOR.\n 
DETERMINE HOW WELL THE REGRESSION MODEL FITS THE DATA.\n 
AND THEN MAKE PREDICTIONS USING THE REGRESSION EQUATION.\n 
IN STATISTICS, REGRESSION ANALYSIS INCLUDES\n 
ANY TECHNIQUES USED FOR MODELING '''\n'''
|-
|
4. Introduction\n 
5. Chapter 1: What Is Trust?\n 
6. Chapter 2: Trust Brings Rest\n 
7. Chapter 3: Who Can I Trust?\n 
8. Chapter 4: The Folly of Self-Reliance\n 
9. Chapter 5: Trust God and Do Good (Part 1)\n 
10. Chapter 6: Trust God and Do Good (Part 2)\n 
11. Chapter 7: At All Times\n 
12. Chapter '''8'''
|
creddump is free software: you can redistribute it and/or modify\n 
it under the terms of the GNU General Public License as published by\n 
the Free Software Foundation, either version 3 of the License, or\n 
(at your option) any later version.\n 
\n 
creddump is distributed in the hope that it will be useful.'''\n'''
|-
|
The chosen sites were recorded as:0 = sound (n = 13);1 = first visible sign of noncavitated lesion seen only when the tooth is dried;2 = visible noncavitated lesion seen when wet and dry;3 = microcavitation in enamel;4 = noncavitated lesion extending into dentine seen as an undermining shadow;5 = small cavitated lesion with visible dentine (less than 50% of surface);'''6'''
|
/**\n 
Copyright (c) 2019. The Android Open Source Project\n 
\n 
Licensed under the Apache License, Version 2.0 (the "License");\n 
you may not use this file except in compliance with the License.'''\n'''
|-
|
QCBlock List Msg = 0x0a \n 
Get Latest Status Msg = 0x0b \n 
Latest Status Msg = 0x0c \n 
Prepare Block HashMsg = 0x0d \n 
Get View Change Msg = 0x0e \n 
Ping Msg = 0x0'''f'''
|
children have a lack of maturity and an underdeveloped\n sense of responsibility, leading to recklessness, impul-\nsivity, and heedless risk-taking... Second, children\n are more vulnerable to negative influences and\n outside pressures, including from their family and\n peers; they have limited control over their own envi-'''\n'''
|}

比如上表中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识（每个例子最后的粗体标注内容是该知识量子所涵盖的）。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。

那么，知识量子理论能否用来解释[[涌现]]，以及建立起涌现和[[神经标度律]]之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值时损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是[[神经标度律]]。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。

[[文件:Quanta emerg.png|无|缩略图|500x500像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]

==渗流模型==
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型中的涌现现象。

涌现是自然科学中的一个特征现象，它与相变的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化。例如，学习一种语言的句法会影响所有下游的能力。

[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]

Lubana等人<ref name=":Percolation" />提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程，他们提出概念类的结构，并将概念类抽象为二分图，并将其学习过程建模为二分图上的渗流问题。在以二分图表征的大语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

=== 数据的矩阵表示 ===

“概念类”的定义为一组预期具有共享属性的实体。Lubana等人用概念密度矩阵来表示这种数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。

'''概率密度矩阵：'''设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。

接下来引入概念传播矩阵来建模从非完整数据中推断新组合的过程：

'''概念传播矩阵：'''第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。

=== 描述性约束的渗流转变 ===

在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例。这种情况恰好对应于二分图上的键渗流问题。

在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型组件。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着系统组件数增加，这一转变会愈发陡峭。

[[文件:Percolation-二分图.png|无|缩略图|800x800px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)当数据集中只包含一部分概念类且边密度较低时，节点(例如,实体和属性)形成许多不连通的簇，用不同的颜色表示(左边)。随着更多的概念类被添加到二分图中(虚边)，小的簇开始合并(中间)。在足够多的边的情况下，宏观数量的节点连接起来，形成单个簇(右)。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]]

在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的集群规模会出现质变。对于<math>p>p_c</math>，属于连通集群的节点数将呈宏观规模，即随机选择的实体-属性对相连的概率为有限值。

渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。

=== 语言学习中的涌现能力 ===

Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。实验使用的形式语言是最小上下文敏感的，其句法规则由上下文无关语法定义，而上下文敏感性则通过后验的类型约束实现。

[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现]]

在Lubana等人的实验中，大语言模型的学习过程分为三个阶段：

'''阶段1：语法获取'''

模型首先学习生成合乎语法的句子（通过语法性指标衡量）。在语法性提升的同时，词元准确率开始改善。这表明模型对数据通用结构（即语法）的学习会影响其他能力的学习。

'''阶段2：关系性类型约束的获取'''

性能提升是由那些主要需要语法正确性和关系性类型约束的句子驱动的。一旦学习到语法和关系性类型约束，模型就会学习使用它们来解决不需要描述性属性知识的输入，从而导致损失和准确性的突然提高。

'''阶段3：描述性类型约束的学习'''

模型基于类型约束图的结构进行隐式推理，哪些属性和实体构成了有效的上下文。这个阶段的结束对应着从记忆到通用解的转变。

其研究基于物理学和复杂系统等领域的相变现象提出了神经网络能力涌现的现象学定义——在涌现点模型会获取对特定能力学习至关重要的通用结构；这些结构的掌握进而导致多项任务性能的突然提升。通过与相变现象的类比，该模型强调语法性和类型约束在此充当序参量，能够近似预测任务性能突跃的时间。研究人员进一步通过形式语言学习任务验证了这一观点：模型先学习语言的两大基础结构（语法和类型约束），随后在数据中观察到具体任务的性能提升。

=总结=

在大语言模型百花齐放的今天，我们很容易观察到大语言模型在特定能力上表现出的非线性跃迁特征：当模型规模较小时，这些能力完全不存在；但当参数规模突破某一临界点后，模型会突然展现出如复杂推理、上下文学习等新能力。这便是涌现现象。如果说平滑增长的神经标度律承诺我们，只要投入足够的资源，大模型的能力一定会持续增长。那么涌现现象便是在说，我们有可能四两拨千斤，在有些时候，只要让投入资源的规模再扩大一点，就可以获得出乎意料的超额回报。于是对于大模型涌现的描述、解释和预测是值得关注的重要课题。

但目前，学者们对于大模型涌现的描述更多停留在定性层面，而且受到下游任务设计、度量指标选取等诸多因素的影响。本词条综述了部分对于大模型涌现的代表性研究，而对于大模型涌现的机制解释，对于涌现、顿悟、神经标度律的统一理论解释，还有很大的领域空白，尤其是在如何借鉴复杂系统研究中的涌现相关理论上。未来随着可解释性人工智能技术的进一步发展，我们将对大模型涌现现象有更加深刻的理解。

=参考文献=
<references />

相关读书会：

https://pattern.swarma.org/study_group_issue/446

2025-04-13T03:52:26Z

嘉树：/* 大语言模型能力涌现的实例 */ 梳理少量样本提示策略和增强提示策略的区别

大语言模型的涌现

2025-04-13T02:43:10Z

嘉树：/*使用增强提示策略的任务*/ 将augmented全部翻译为“增强”

讨论:大语言模型的涌现

2025-04-11T09:46:20Z

嘉树：/* 大语言模型家族分类 */

= 历史溯源 =

=大语言模型家族分类=

这个章节目前缺少引用文献和交叉引用。在添加交叉引用的时候可以注意一下是否所有细节都需要在这里写出来，还是可以放到别的词条里。

FZY: 已经添加交叉引用。似乎不需要所有细节都放进来。我在梳理完“基本架构与应用场景的分类和涌现的关系"之后进行此处内容的删补。

这个章节的内容还需找可靠资料进行验证

* 而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。

YMZ：基本架构与应用场景的分类和涌现的关系具体是什么？

=大语言模型能力的涌现现象=

* 这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例

YMZ：这个表述可以放在前面大语言模型分类那个章节里了，这才是我们补充那个新章节的目的。现在前面介绍家族分类的细节太多了，应该只保留讨论涌现现象会用到的相关细节。

* 研究者通常在训练模型时使用固定大小的训练集[7][8]

YMZ：这个出现在文献的哪个段落？

* 尽管少量样本提示可能是目前与大型语言模型互动最常见的方式，但几种其他的提示和微调策略能够进一步提高语言模型的能力。【增加对比图，少量样本提示和进阶提示的区别】

YMZ：在“实例”这一节开头就讲它们的区别。另外，进阶提示和增强提示应该是同一概念吧，翻译上要统一。

* 多即不同 (More is Different)

LJ：这个论文比较经典，一般翻译为“多者异也”，供参考。

FZY：感谢提示，已经修改为“多者异也”

* 使用进阶提示策略的任务-程序执行：在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助

LJ：这里根据图C和原论文数据，应该是 ∼9· 10^19

FZY: 感谢指正，已经改正了

* 关于参数数量的描述，是否使用技术上更常用的 KMB 单位比较好？比如这里是40M。

FZY: 感谢指正，已经将文中参数量单位改为KMB

* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较

FZY:这一句具体说的什么意思

* 下图是一个少量样本提示的示例。

FZY: 缺少示例图

* 解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值

FZY: 此处可添加新研究结果进行对比

修改本节文献引用

=影响下游任务能力涌现的因素及争议=

* 例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。

YMZ:这一段我搬到这里来了，可以在这一章节里统一叙述涌现背后相关因素的分析。

=大语言模型涌现的度量=

* 这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现

YMZ：读着不通顺

* 其中 token 是句子中具有复杂模式的微观（micro）单元

YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表

* 因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象

YMZ：为什么它是涌现现象，根据哪个定义判断的？

* 受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。

YMZ：这里的文字不如用公式来表达，而且不适合放在提纲挈领的第一段。

* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。

YMZ：这个结论是为什么？还是说它是定义？

YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？

* 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。

YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？

* 因此，宏观层面代表语义层级，微观层面代表 token 层级。

YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？

* 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模

YMZ：所以IE的定义根源于Erik和Rosas等人的工作？那应该在前面就讲清楚。

* IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度

YMZ：什么是语义熵？

YMZ：对于这个定量公式有一个困惑是，如果找到宏观的token，是要计算前后token在多大程度上独立吗（满足马尔可夫性）？

* 研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成

YMZ：所以这里的IE是定义在输出文本上的？在给出这个结论之前，应该先说清楚IE的定义。逻辑顺序是，前文的涌现现象 to 为什么要谈论IE to IE的定义 to 基于IE指标的发现

* 当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义

YMZ：读起来很难懂，可不可以有具体的例子？

2025-04-04T08:59:07Z

大语言模型的涌现

2025-03-27T11:08:52Z

嘉树：/* 影响下游任务能力涌现的因素及争议 */ 插入一个公式

用户讨论:嘉树

2025-03-20T01:39:24Z

嘉树：/* 内容 */

这个页面简要记录一下当下的疑惑、问题、待定等
== 内容 ==
# 为什么规模曲线的横坐标没有不同数据集大小？
# 大模型的分类
# 提示工程/提示策略的分类
# 模型校准 calibration一段，是什么意思，还没看懂
# Wei et al., 2022为什么要按照不同提示的方法来分类总结涌现现象？

== 呈现 ==
# 介绍分类时考虑使用更多表格和图

== 规范 ==
# 文献引用
# 图表引用
# 引用知乎和csdn是否不够严谨？应当多引用公开且一手的证据和观点（如arxiv或论文），对吗？

用户讨论:嘉树

2025-03-19T13:58:06Z

嘉树：增加讨论

这个页面简要记录一下当下的疑惑、问题、待定等
== 内容 ==
# 为什么规模曲线的横坐标没有不同数据集大小？
# 大模型的分类
# 提示工程/提示策略的分类
# 模型校准 calibration一段，是什么意思，还没看懂

== 呈现 ==
# 介绍分类时考虑使用更多表格和图

== 规范 ==
# 文献引用
# 图表引用
# 引用知乎和csdn是否不够严谨？应当多引用公开且一手的证据和观点（如arxiv或论文），对吗？

大语言模型的涌现

2025-03-19T13:51:22Z

嘉树：/* 使用增强提示策略的任务 */ 修改文字

文件:Evidence or instruction driven.png

2025-03-19T13:44:20Z

嘉树：来自csdn 需进一步确认准确性和来源，有必要的话做图片信息精简和重绘并翻译

== 文件说明 ==
来自csdn 需进一步确认准确性和来源，有必要的话做图片信息精简和重绘并翻译

大语言模型的涌现

2025-03-18T15:15:35Z

嘉树：/* 大语言模型家族分类 */ 通用/专用模型的梳理具体资料需进一步查证