更改

Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|800x800像素]]

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|603x603px]]

从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。

从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统，而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，所以因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，所以因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。

[[文件:JWeiTable1.png|800px|thumb|center|大语言模型出现涌现现象的门槛训练FLOPs和参数量<ref name=":0" />]]

[[文件:JWeiTable1.png|508x508px|thumb|center|大语言模型出现涌现现象的门槛训练FLOPs和参数量<ref name=":0" />]]

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如思维链提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如思维链提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

[[文件:Fewshotexample.png|缩略图|居中|少量样本提示示意图]]

[[文件:Fewshotexample.png|缩略图|居中|少量样本提示示意图|432x432像素]]

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。

如下图b所示，可以观察到在一个线性-对数图中，只是因为度量的变化，就观察到了模型能力随模型规模增大而非线性地增长，即呈现出涌现能力的现象。这一模式和已发表的涌现现象（图b里的小图）是一致的。而如果我们把上面的正确率指标换成线性的指标，比如token编辑距离(Token Edit Distance)，如下图c所示，则会发现模型能力又随模型规模平滑、连续和可预测的变化，即未出现涌现现象。

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|800x800像素]]

[[文件:LLM-EMERGENCE-mirage.png|缩略图|链接=Special:FilePath/LLM-EMERGENCE-mirage.png|替代=|无|660x660px]]

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象<ref name=":mirage" />。

依据类似的分析，研究者认为选择非连续的度量，就会发现涌现现象；如果换用连续度量，就又会清除涌现现象<ref name=":mirage" />。

</math> ）内，平均IE值也显著增加。

</math> ）内，平均IE值也显著增加。

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|800x800像素|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]

[[文件:Screenshot 2025-03-30 at 17.38.22.png|替代=|无|缩略图|714x714px|研究中评估了8个算术任务的表现与信息涌现指标IE之间的关联]]

==基于大语言模型结构的多尺度解释==

==基于大语言模型结构的多尺度解释==

==渗流模型==

==渗流模型==

渗流模型（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。

渗流模型（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。

[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|381x381像素|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]

[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]

在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。