842
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： + +
无编辑摘要
这些能力包括数学推理（如多步计算与逻辑判断）、链式思维（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等，这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。
这些能力包括数学推理（如多步计算与逻辑判断）、链式思维（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等，这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。
足够复杂的大语言模型除了具有涌现现象，还会出现神经标度律（Neural Scaling Laws）、顿悟（Grokking）、双下降（Double Descent）等现象。神经标度律是大模型训练中最常见的现象，即随着模型的规模增加（包括数据规模、训练迭代次数等），模型能力表现以一个幂律的形式增长 <ref>Jared Kaplan, Sam McCandlish, Tom Henighan, et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020</ref>。顿悟是指对于同一个大模型，随着训练的进行，训练损失会很快收敛，但测试损失需要训练足够长的时间后才会突然收敛到和训练损失一致的水平 <ref>Ziming Liu, Ouail Kitouni, Niklas Nolte, et al. Towards Understanding Grokking: An Effective Theory of Representation Learning. arXiv:2205.10343, 2022</ref>。双下降是指模型的表现随着模型规模变大（或随着训练的进行）不是一个单调变化的关系，而是会在某些时候，模型的损失反而会随着模型规模的增加而上升，达到一个峰值再继续下降 <ref>Preetum Nakkiran, Gal Kaplun, Yamini Bansal, et al. Deep Double Descent: Where Bigger Models and More Data Hurt. arXiv:1912.02292, 2019</ref>。这些现象和涌现现象不同，但背后的底层机制很可能是相通的。许多学者试图为这些现象（包括涌现）提供一个统一的理论框架来解释<ref name=":uni-view">Huang, Y., Hu, S., Han, X., Liu, Z., & Sun, M. (2024). Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition (arXiv:2402.15175). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2402.15175</nowiki> </ref>。
Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。
Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): [[Tel:24824-24837|24824-24837]].</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。