91
个编辑
更改
跳到导航
跳到搜索
第254行：
第254行： − + + − 在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。+ + + + + + + + + + + + + + + + + + + + + + + + + + +
→渗流模型
==渗流模型==
==渗流模型==
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。
[[渗流模型]]（Percolation Model）最早用于描述物质在多孔介质中的渗透过程。当网络的连通性达到某一临界点时，系统会发生显著变化，形成大规模的连通区域。在该临界点之前，系统中的连接是局部的、碎片化的；而一旦超过这一临界阈值，连接会迅速扩展，形成全局连通的集群。近年来，这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力。
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
[[文件:涌现作为学习的相态(Emergence as phases of learning).png|替代=涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。|无|缩略图|446x446px|涌现现象在学习过程中类似物质相变的不同阶段，强调模型能力随着训练规模的增加而突变。]]
Lubana等人提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程，他们提出概念类的结构，并将概念类抽象为二分图，并将其学习过程建模为二分图上的渗流问题。在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。
=== 数据的矩阵表示 ===
“概念类”的定义为一组预期具有共享属性的实体。Lubana等人用概念密度矩阵来表示这种数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。
'''概率密度矩阵：'''设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。
接下来引入概念传播矩阵来建模从非完整数据中推断新组合的过程：
'''概念传播矩阵：'''第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。
=== 描述性约束的渗流转变 ===
在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例。这种情况恰好对应于二分图上的键渗流问题。
在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型组件。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着系统组件数增加，这一转变会愈发陡峭。
【图6】
在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的集群规模会出现质变。对于<math>p>p_c</math>，属于连通集群的节点数将呈宏观规模，即随机选择的实体-属性对相连的概率为有限值。
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
=== TBD ===
'''<big>渗流模型与大语言模型的关联</big>'''
'''<big>渗流模型与大语言模型的关联</big>'''