91
个编辑
更改
跳到导航
跳到搜索
第245行：
第245行： − + − 涌现是自然科学中的一个特征现象，它与相变的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化(例如，学习一种语言的句法会影响所有下游的能力)。+ 第263行：
第263行： − 该研究提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为二分图（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。+ 第380行：
第380行： − 基于图论的理论框架可以预测结构学习过程的“渗流相变”行为，尤其是在模型试图泛化出未见过但合理的实体–属性组合时。实证检验设置如下：+ − +
→渗流模型
==渗流模型==
==渗流模型==
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型中的涌现现象。
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释[[神经网络]]，特别是大语言模型中的涌现现象。
[[涌现]]是自然科学中的一个特征现象，它与[[相变]]的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化(例如，学习一种语言的句法会影响所有下游的能力)。
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。
该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。
该研究提出一个基于[[渗流模型]]的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为[[二分图]]（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“[[连通子图]]”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“[[临界阈值]]”概念相似，表示模型从局部学习到全局能力的跃升。
=== 基本定义 ===
=== 基本定义 ===
=== 实验验证 ===
=== 实验验证 ===
基于[[图论]]的理论框架可以预测结构学习过程的“渗流相变”行为，尤其是在模型试图泛化出未见过但合理的实体–属性组合时。实证检验设置如下：
实体数固定，属性数取不同值，模型架构、学习率、数据分布等保持一致，记录每次训练的描述型类型检查准确率随训练迭代数的变化曲线，并从中估计“涌现点”——即描述类型检查准确率开始显著上升的训练迭代<math>t</math>。
实体数固定，属性数取不同值，模型架构、学习率、数据分布等保持一致，记录每次训练的描述型类型检查准确率随训练迭代数的变化曲线，并从中估计“涌现点”——即描述类型检查准确率开始显著上升的训练迭代<math>t</math>。
[[文件:涌现点实证.png|缩略图|描述结构涌现点的理论与实证对比]]
[[文件:涌现点实证.png|无|缩略图|446x446px|描述结构涌现点的理论与实证对比]]
实验结果如上图所示，模型对描述性结构的学习，确实存在一个清晰的“转折点”，这个转折点的位置正比于<math>\sqrt{\left | K \right | } </math>，该现象符合渗流理论中的临界点预测。
实验结果如上图所示，模型对描述性结构的学习，确实存在一个清晰的“转折点”，这个转折点的位置正比于<math>\sqrt{\left | K \right | } </math>，该现象符合渗流理论中的临界点预测。