91
个编辑
更改
无编辑摘要
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
{| class="wikitable"
{| class="wikitable"
|}
|}
=大语言模型能力的涌现现象=
=大语言模型能力的涌现现象=
上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。
上述提及的大语言模型涌现现象在判定上始终围绕两个关键特征：度量结果的突变性和突变的不可预测性<ref name=":mirage">Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。而这并不意味着它一定是关于模型性质的度量。涌现现象的发生，可能只是研究者的选择所造成的幻觉<ref name=":mirage" />。
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang"/>。
==从规模法则到涌现现象==
==从规模法则到涌现现象==
规模效应假说认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。
规模效应假说认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。
规模效应的理论依据可追溯至相变理论，复杂系统在参数变化时可能经历行为上的剧烈转变。类似地，当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。Kaplan等人提出语言模型的交叉熵损失随计算量、数据量和模型大小平滑变化，但下游任务的指标可能表现出非线性跃迁<ref name=":1">。Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。
规模效应的理论依据可追溯至相变理论，复杂系统在参数变化时可能经历行为上的剧烈转变。类似地，当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。Kaplan等人提出语言模型的交叉熵损失随计算量、数据量和模型大小平滑变化，但下游任务的指标可能表现出非线性跃迁<ref name=":1"/>。Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。
==== 度量指标假说 ====
==== 度量指标假说 ====
任务复杂度假说从问题结构角度解释涌现，认为某些任务需要模型具备最低限度的计算复杂度或知识整合能力才能解决。这一观点得到多步骤任务表现的强力支持——思维链能力通常在模型能够同时保持多条规则或事实时才突然出现。
任务复杂度假说从问题结构角度解释涌现，认为某些任务需要模型具备最低限度的计算复杂度或知识整合能力才能解决。这一观点得到多步骤任务表现的强力支持——思维链能力通常在模型能够同时保持多条规则或事实时才突然出现。
复杂性阈值与数据分布密切相关。涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的缩放定律。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
复杂性阈值与数据分布密切相关。涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的缩放定律。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang"/>。
==知识量子理论==
==知识量子理论==