91
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： − − 涌现是复杂系统中的重要特性，指的是整体表现超越其组成部分的总和，展现出个体所不具备的新特性<ref>Meehl P E, Sellars W. The concept of emergence[J]. Minnesota studies in the philosophy of science, 1956, 1239-252.</ref><ref>Holland J H. Emergence: From chaos to order[M]. OUP Oxford, 2000.</ref>。尽管在鸟群行为、大脑意识与经济社会等多个领域观察到涌现现象<ref>Reynolds, C.W. Flocks, herds and schools: A distributed behavioral model. In Proceedings of the 14th Annual Conference on Computer Graphics and Interactive Techniques, Anaheim, CA, USA, 27–31 July 1987; pp. 25–34.</ref><ref>Holland, J.H. Hidden Order: How Adaptation Builds Complexity; Addison Wesley Longman Publishing Co., Inc.: Boston, MA, USA, 1996.</ref>，学术界对此尚无统一理解。 − − 在计算机科学领域中，人们也有对模型的学习过程发现和总结出非线性增长的现象。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越<ref name=":5" />。 − 第13行：
第8行： − + + − + 第33行：
第29行： − + 第48行：
第44行： − + 第160行：
第156行： − + 第209行：
第205行： − +
→历史溯源
=历史溯源=
=历史溯源=
涌现Emergence作为复杂系统科学的核心概念，最早由诺贝尔物理学奖得主P.W. Anderson在1972年的经典论文《More is Different》中系统阐述，指的是"系统中量的变化导致行为上质的变化"<ref>P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref>。这一概念后被引入人工智能领域，特指大型语言模型在达到特定规模阈值时突然展现出小规模模型所不具备的新能力。涌现能力最早由Wei等学者2022年在《Emergent Abilities of Large Language Models》中系统性地提出，并定义为：
涌现Emergence作为复杂系统科学的核心概念，最早由诺贝尔物理学奖得主P.W. Anderson在1972年的经典论文《More is Different》中系统阐述，指的是"系统中量的变化导致行为上质的变化"<ref>P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref>。这一概念后被引入人工智能领域，特指大型语言模型在达到特定规模阈值时突然展现出小规模模型所不具备的新能力。涌现能力最早由Wei等学者2022年在《Emergent Abilities of Large Language Models》中系统性地提出，并定义为：
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？https://cloud.tencent.com/developer/news/1044132?from=15431</ref>。
= 大语言模型家族分类 =
=大语言模型家族分类=
不同模型家族的设计目标、参数规模、训练方法等差异可能会直接影响涌现能力的表现，因此有必要了解不同模型的分类。模型的演进涉及到性能与计算成本的平衡、通用能力与专用场景的取舍、技术创新与工程落地的协同等诸多维度，而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。
不同模型家族的设计目标、参数规模、训练方法等差异可能会直接影响涌现能力的表现，因此有必要了解不同模型的分类。模型的演进涉及到性能与计算成本的平衡、通用能力与专用场景的取舍、技术创新与工程落地的协同等诸多维度，而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。
为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。
为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。
=== 使用少量样本提示的任务 ===
===使用少量样本提示的任务===
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
在不同任务上，以模型规模为x轴，以模型能力为y轴绘制曲线，可以观察到模型能力随着模型规模增大的变化情况，并发现模型能力发生明显提升的部分。在达到一定规模之前模型表现平平，之后能力提升至远高于随机水平，这就表示模型能力出现了涌现的现象。下图展示了五个语言模型家族使用少量样本提示时，在八类任务上展现的涌现能力。
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]
=== 使用增强提示策略的任务 ===
===使用增强提示策略的任务===
[[文件:Quanta emerg.png|无|缩略图|500x500像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
[[文件:Quanta emerg.png|无|缩略图|500x500像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
== 渗流模型 ==
==渗流模型==
渗流模型（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。
渗流模型（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|381x381像素|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|381x381像素|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。
一方面，大模型会对结果有一个粗糙的估计，给出结果的一个范围，对应图中蓝色的部分。另一方面，大模型也会做精确的计算，如图中紫色的部分，对个位数给出一个精确的结果。有意思的是，如果让大模型解释自己是如何做出这道题的，它似乎意识不到自己真正的“心算”过程，而是模仿人类的解释，说自己计算了个位数进位了1到十位数。
= 参考文献 =
=参考文献=
<references />
<references />