91
个编辑
更改
跳到导航
跳到搜索
第8行：
第8行： − + − − 第31行：
第29行： + − + − + + + + − == 任务复杂度假说==+
→历史溯源
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？https://cloud.tencent.com/developer/news/1044132?from=15431</ref>。
{| class="wikitable"
{| class="wikitable"
== 规模效应假说 ==
== 规模效应假说 ==
规模效应假说(Scaling Hypothesis)认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。
Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。
== 度量指标假说 ==
== 度量指标假说 ==
度量指标假说对涌现能力的存在性提出挑战，认为所谓"涌现"可能是评估方式人为造成的假象。斯坦福大学的Schaeffer等人系统论证了这一观点，指出92%的涌现现象出现在非线性或不连续的指标下，如Multiple Choice Grade(多选评分)和Exact String Match(精确字符串匹配)<ref>Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? (arXiv:2304.15004). arXiv. https://doi.org/10.48550/arXiv.2304.15004</ref>。
该假说的数学基础在于指标对错误的放大效应。假设模型单标记错误率随规模平滑下降(遵循幂律)，但准确率要求所有标记完全正确，其概率随序列长度几何级数下降。这种非线性转换可使性能曲线在特定规模下呈现突变。例如，在L位加法任务中，当使用精确匹配指标时，模型表现出明显的"涌现"能力，而改用token编辑距离等线性指标后，性能提升变得平滑连续。
Schaeffer等人在视觉任务(如MNIST分类和CIFAR重建)上通过设计阈值化指标，成功在卷积网络和自编码器中诱导出类似语言模型的涌现现象。这表明"相变"式行为可能普遍存在于各类深度学习系统中，而不仅限于语言模型。涌现能力可以由研究人员在单一幂律下诱导，一些涌现能力可能确实是突然出现的，而一些涌现能力可能归因于度量。科学评估需区分模型内在能力与指标人为效应，避免将统计假象误认为根本突破。
== 任务复杂度假说==
任务复杂度假说从问题结构角度解释涌现，认为某些任务需要模型具备最低限度的计算复杂度或知识整合能力才能解决。这一观点得到多步骤任务表现的强力支持——思维链能力通常在模型能够同时保持多条规则或事实时才突然出现。
=大语言模型家族分类=
=大语言模型家族分类=