更改

跳到导航 跳到搜索
删除138字节 、 2025年6月7日 (六) 12:31
无编辑摘要
第248行: 第248行:     
==渗流模型==
 
==渗流模型==
−
[[渗流模型]](Percolation Model)最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时,系统会发生显著变化,形成大规模的连通区域。在该临界点之前,系统中的连接是局部的、碎片化的;而一旦超过这一临界阈值,连接会迅速扩展,形成全局连通的集群。近年来,这一模型被借用来解释神经网络,特别是大语言模型(LLM)中的涌现现象。涌现现象指的是当模型规模(数据、计算资源、参数等)达到某一临界点时,模型会突然展示出之前无法预见的能力。
+
[[渗流模型]](Percolation Model)最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时,系统会发生显著变化,形成大规模的连通区域。在该临界点之前,系统中的连接是局部的、碎片化的;而一旦超过这一临界阈值,连接会迅速扩展,形成全局连通的集群。近年来,这一模型被借用来解释神经网络,特别是大语言模型中的涌现现象。
    
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段,强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段,强调模型能力随着训练规模的增加而突变。]]
 
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段,强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段,强调模型能力随着训练规模的增加而突变。]]
   −
Lubana等人提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程,他们提出概念类的结构,并将概念类抽象为二分图,并将其学习过程建模为二分图上的渗流问题。在该模型中,节点(如实体、属性等)通过边(如实体与属性的配对)连接在一起。随着训练数据和参数规模的增加,节点之间逐渐形成一个“连通子图”,一旦这个子图的规模突破某个阈值,模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似,表示模型从局部学习到全局能力的跃升。
+
Lubana等人<ref name=":Percolation" />提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程,他们提出概念类的结构,并将概念类抽象为二分图,并将其学习过程建模为二分图上的渗流问题。在该模型中,节点(如实体、属性等)通过边(如实体与属性的配对)连接在一起。随着训练数据和参数规模的增加,节点之间逐渐形成一个“连通子图”,一旦这个子图的规模突破某个阈值,模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似,表示模型从局部学习到全局能力的跃升。
    
=== 数据的矩阵表示 ===
 
=== 数据的矩阵表示 ===
842

个编辑

导航菜单