更改

该研究关注神经网络随着规模变化而产生的涌现能力，并对能力的涌现现象做出如下定义：

该研究关注神经网络随着规模变化而产生的涌现能力，并对能力的涌现现象做出如下定义：

若模型在某一相关维度（如数据量、计算量、参数量）上扩展时，能力<math>C</math>满足以下三个条件，则称其为“涌现”：

若模型在某一相关维度（如数据量、计算量、参数量）上扩展时，能力<math>C</math>满足以下三个条件，则称其为“涌现”：

该研究提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为二分图（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

该研究提出一个基于渗流模型的理论框架来建模那些需要模型组合未见过的实体和描述性属性的能力的涌现过程。该研究提出概念类（concept class）的结构，将概念类抽象为二分图（concept class），并将语言学习过程建模为二分图上的渗流问题。在以二分图表征的语言模型训练过程中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。这一过程与渗流模型中“临界阈值”概念相似，表示模型从局部学习到全局能力的跃升。

=== 概念类 ===

=== 基本定义 ===

 

“主语”和“宾语”统称为实体（entities），所有实体组成集合<math>E</math>。描述性和关系性的词语统称为属性（properties），所有属性构成集合<math>K</math>。一个概念类（concept class）被定义为一个属性子集<math>K_C \subseteq K</math>，表示属于该类的实体所具备的属性。从一个概念类中随机采样的两个实体，往往共享部分属性——这为训练模型提供了判断它们是否属于同一类的信号。

“主语”和“宾语”统称为实体（entities），所有实体组成集合<math>E</math>。描述性和关系性的词语统称为属性（properties），所有属性构成集合<math>K</math>。一个概念类（concept class）被定义为一个属性子集<math>K_C \subseteq K</math>，表示属于该类的实体所具备的属性。从一个概念类中随机采样的两个实体，往往共享部分属性——这为训练模型提供了判断它们是否属于同一类的信号。

=== 类型约束图 ===

'''类型约束图'''

类型约束图<math>G=\left ( E,K,I \right ) </math>是一个二分图（bipartite graph），其中节点为实体集<math>E</math>与属性集<math>K</math>，边集<math>I</math>表示实体是否具备某一属性（即是否连接）。

类型约束图<math>G=\left ( E,K,I \right ) </math>是一个二分图（bipartite graph），其中节点为实体集<math>E</math>与属性集<math>K</math>，边集<math>I</math>表示实体是否具备某一属性（即是否连接）。

[[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]

[[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]

=== 数据的矩阵表示 ===

=== 涌现的渗流模型 ===

 

概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。

概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。

'''概率密度矩阵：'''设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right |  \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right |  \right \}</math>分别是实体和属性的索引。

概率密度矩阵：设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right |  \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right |  \right \}</math>分别是实体和属性的索引。

接下来引入概念传播矩阵来建模从非完整数据中推断新组合的过程：

接下来引入概念传播矩阵来建模从非完整数据中推断新组合的过程：

'''概念传播矩阵：'''第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。

概念传播矩阵：第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。

=== 描述性约束的渗流转变 ===

'''描述性约束的渗流转变'''

在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例。这种情况恰好对应于二分图上的键渗流问题。

在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例。这种情况恰好对应于二分图上的键渗流问题。