91
个编辑
更改
→渗流模型
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型中的涌现现象。
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型中的涌现现象。
涌现是自然科学中的一个特征现象，它与相变的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化。例如，学习一种语言的句法会影响所有下游的能力。
涌现是自然科学中的一个特征现象，它与相变的概念紧密相关，即当改变某个控制变量(例如,温度)时，系统的基本结构(例如,晶体中六角构型的形成)会发生系统性的变化，并同时影响它的一些性质（如物质固态、液态、气态之间的转变）。下图是固液气相变和大模型能力涌现类比的示意图。Lubana等人<ref name=":Percolation" />定义了机器学习中涌现的类似表征：识别模型行为中影响其下游能力并导致性能突然提升的系统性变化(例如，学习一种语言的句法会影响所有下游的能力)。
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
Lubana等人的研究关注神经网络随着规模变化而产生的涌现能力，并对能力的涌现现象做出如下定义：
'''能力的涌现：'''
若模型在某一相关维度（如数据量、计算量、参数量）上扩展时，能力<math>C</math>满足以下三个条件，则称其为“涌现”：
P1（非线性性能提升）：该能力相关任务的性能表现出现非线性跃升；
P2（多任务共现）：多个不同任务同时表现出非线性性能提升；
P3（结构性学习）：模型学习了数据生成过程中的某种结构，这一结构对于学习能力<math>C</math>至关重要，且能力<math>C</math>的非线性增长与该结构的学习过程直接相关。
该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而我们观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。
Lubana等人<ref name=":Percolation" />提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。他们提出概念类的结构，并将概念类抽象为二分图，并将其学习过程建模为二分图上的渗流问题。在以二分图表征的大语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。
Lubana等人<ref name=":Percolation" />提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。他们提出概念类的结构，并将概念类抽象为二分图，并将其学习过程建模为二分图上的渗流问题。在以二分图表征的大语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。