91
个编辑
更改
→渗流模型
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
该研究关注神经网络随着规模变化而产生的涌现能力，并对能力的涌现现象做出如下定义：
'''能力的涌现：'''
'''能力的涌现：'''
P3（结构性学习）：模型学习了数据生成过程中的某种结构，这一结构对于学习能力<math>C</math>至关重要，且能力<math>C</math>的非线性增长与该结构的学习过程直接相关。
P3（结构性学习）：模型学习了数据生成过程中的某种结构，这一结构对于学习能力<math>C</math>至关重要，且能力<math>C</math>的非线性增长与该结构的学习过程直接相关。
该定义赋予“涌现”比“在某个任务上性能突增”更广的含义：它要求模型学习到对多个能力都有下游影响的结构性知识，并因此在多个任务上表现出突然的性能提升。从这个角度看，“涌现”的其实是结构，而观察到的是模型能力的变化，如果能通过分析那些同时出现性能跃升的任务，推测出它们之间所共享的结构，并据此设计评估指标，那么就有可能预测在一次独立训练中能力何时会突然出现。
该研究提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为二分图（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。
=== 概念类 ===
=== 概念类 ===
'''阶段2：关系性类型约束的获取'''
'''阶段2：关系性类型约束的获取'''
在大约第 1000 次迭代时，模型在“关系型类型检查”上的表现突然从几乎为零跳跃至近乎完美。这一跃迁正好伴随着所有任务（尤其是自由生成任务）的损失突降。
在大约第 1000 次迭代时，模型在“关系型类型检查”上的表现突然从几乎为零跳跃至近乎完美。这一跃迁正好伴随着所有任务（尤其是自由生成任务）的损失突降。