更改

这些能力包括数学推理（如多步计算与逻辑判断）、链式思维（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等，这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。

这些能力包括数学推理（如多步计算与逻辑判断）、链式思维（Chain-of-Thought，CoT）推理、编程与代码生成、跨任务泛化能力（如零样本任务迁移）、事实知识记忆、多语言翻译与理解等，这些能力往往在较小模型上完全缺失或表现极差。研究表明，这些涌现并非线性延伸，而是与模型规模、训练数据量、指令微调策略等因素交互产生的非平滑性能跃迁。

Wei等人在《Chain-of-thought prompting elicits reasoning in large language models》中系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): 24824-24837.</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

Wei等人系统比较了不同规模的语言模型在使用标准提示（直接给问题）和链式提示（给出推理步骤）下的表现，发现只有大型语言模型才能充分利用链式思维提示，且性能随着规模增长出现“非线性跃迁”。链式思维提示本身并不会自动赋予模型推理能力，只有在模型参数规模足够大时，它才能引发复杂推理能力的“跃迁”，这正是大语言模型涌现现象的核心表现之一<ref name="chain-of-thought">Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information processing systems 35 (2022): 24824-24837.</ref>。该团队在另一项探讨了一种通过指令微调提升语言模型零样本学习能力方法的研究中发现，指令调整带来的性能提升只有在模型规模足够大的情况下才会显现<ref name="Finetuned">Wei, Jason, et al. "Finetuned language models are zero-shot learners." arXiv preprint arXiv:2109.01652 (2021).</ref>。Google DeepMind主导的一项研究通过设计大规模基准测试（BIG-bench）来系统地评估大语言模型（LLMs）的智能水平和能力边界，并探索其随规模变化时的行为模式。通过对GPT-3、PaLM、以及多个中小规模模型等进行性能随参数规模变化的测试，研究人员发现了任务随规模变化的两种性能增长模式。大语言模型的性能在一类任务表现为线性增长，如语言建模、基本问答；在另一类任务出现突破式表现，如代码生成、数学证明、复杂逻辑任务，从几乎完全不会，到某一规模后突然具备该能力<ref name="BIG-bench">Srivastava, Aarohi, et al. "Beyond the imitation game: Quantifying and extrapolating the capabilities of language models." arXiv preprint arXiv:2206.04615 (2022).</ref>。

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|800x800像素]]

[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线（规模大于 10B）|替代=|无|800x800像素]]