91
个编辑
更改
跳到导航
跳到搜索
第277行：
第277行： − === 涌现的渗流模型 === − − 该研究提出一种理论框架，用于建模那些需要模型组合未曾见过的实体与描述属性的能力的涌现过程，例如“描述型类型约束”的学习。这些能力除了能让模型在自由生成中更准确地构造句子，还可提升更狭义的任务，如条件生成与打乱复原。如果模型能够理解哪些实体和属性属于同一“概念类”，那么即使它们在训练数据中从未同时出现过，它仍然可以判定这种组合是“合理”的。因此，可以将概念类（concept classes）抽象为二分图（bipartite graph），并将模型对其学习过程类比为图上的渗流（percolation）过程。 − − '''数据的矩阵表示''' − − 概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。 − − 概率密度矩阵：设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。 − − 以实体{Man, Lawyer, Telephone}和属性{Walk, Stoic, Ring}为例，矩阵<math>D</math>可为：<math>\begin{bmatrix} 1 & 1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 1\end{bmatrix}</math>，表示“Man–Walk”和“Man–Stoic”经常同时出现，“Telephone–Ring”也存在，但“Lawyer–Ring”未曾出现。 − − '''组合学习过程''' − − 概念传播矩阵可以建模从非完整数据中推断新组合的过程： − − 概念传播矩阵：第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。 − 通过<math>n</math>次传播，模型能从原始矩阵<math>D</math>中推断出哪些组合是合理的。 − − 将<math>D</math>映射为一个二分图，其中左侧节点表示实体，右侧节点表示属性，边表示它们在训练中被共同观察。在这个图中若两个节点（实体和属性）之间存在最短路径长度为<math>2k+1</math>，则只有在传播步数<math>n>k</math> 时，传播矩阵<math>T_{e,k}^{\left ( n \right ) } </math> 才为非零。若两个节点处于完全不连通的子图中，那么无论传播多少次，该组合都永远无法被学习（即<math>T_{e,k}^{\left ( n \right ) } </math>，对任意<math>n</math>成立。 − − 例如，“Man–Walk”可能可达，“Lawyer–Ring”永远不可达，意味着后者不能合理组合。 − − '''描述性约束的渗流转变''' − − 在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例（代表模型能泛化出多少“未见过但合理”的实体–属性组合）。这种情况恰好对应于二分图上的键渗流（bond percolation）问题。 − − 在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型连通簇。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着节点数的增加，这一转变会愈发陡峭。 − − [[文件:Percolation-二分图.png|无|缩略图|800x800px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)若概念类仅部分出现在训练集中，或实体-属性连接稀疏，图中节点将形成多个“孤立簇”（见左图，颜色不同表示不同连通区域）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]] − − 在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的连通簇会出现质变。对于<math>p>p_c</math>，最大簇的节点数迅速增长，任取一对实体–属性，其在同一簇中的概率趋近于常数。 − − 渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即观察更多实体–属性配对），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。 第377行：
第343行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→渗流模型
[[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]
[[文件:概念类二分图.png|无|缩略图|800x800px|各类实体与描述词、动词之间的连接关系]]
=== 形式语言学习中的涌现能力 ===
=== 形式语言学习中的涌现能力 ===
* 从物理类比角度看，“语法性”和“类型检查”可视为序参量（order parameters）；
* 从物理类比角度看，“语法性”和“类型检查”可视为序参量（order parameters）；
* 它们大致决定了模型在何时可能会对某任务表现出“涌现”特征。
* 它们大致决定了模型在何时可能会对某任务表现出“涌现”特征。
=== 涌现的渗流模型 ===
该研究提出一种理论框架，用于建模那些需要模型组合未曾见过的实体与描述属性的能力的涌现过程，例如“描述型类型约束”的学习。这些能力除了能让模型在自由生成中更准确地构造句子，还可提升更狭义的任务，如条件生成与打乱复原。如果模型能够理解哪些实体和属性属于同一“概念类”，那么即使它们在训练数据中从未同时出现过，它仍然可以判定这种组合是“合理”的。因此，可以将概念类（concept classes）抽象为二分图（bipartite graph），并将模型对其学习过程类比为图上的渗流（percolation）过程。
'''数据的矩阵表示'''
概念密度矩阵用于表示概念类的数据分布：矩阵的行和列分别对应实体和属性，矩阵值表示每个组合的数据密度（例如实体-描述词配对的出现频次）。
概率密度矩阵：设<math>D</math>是一个<math>\left | E \right | \times \left | K \right |</math>的矩阵，其元素为0到1之间的实数。每个元素<math>D_{ek}</math>表示实体-属性对<math>\left ( e,k \right ) </math>的密度（例如表示该特定组合的数据量）,其中<math>e\in \left \{ 1,...,\left | E \right | \right \} </math>和<math>k\in \left \{ 1,...,\left | K \right | \right \}</math>分别是实体和属性的索引。
以实体{Man, Lawyer, Telephone}和属性{Walk, Stoic, Ring}为例，矩阵<math>D</math>可为：<math>\begin{bmatrix} 1 & 1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 1\end{bmatrix}</math>，表示“Man–Walk”和“Man–Stoic”经常同时出现，“Telephone–Ring”也存在，但“Lawyer–Ring”未曾出现。
'''组合学习过程'''
概念传播矩阵可以建模从非完整数据中推断新组合的过程：
概念传播矩阵：第<math>n</math>阶概念传播矩阵<math>\left ( n> 0 \right ) </math>定义为<math>T^{\left ( n \right ) }=\left ( DD^T \right )^nD=C^nD </math>，其中<math>C:=DD^{T}</math>。
通过<math>n</math>次传播，模型能从原始矩阵<math>D</math>中推断出哪些组合是合理的。
将<math>D</math>映射为一个二分图，其中左侧节点表示实体，右侧节点表示属性，边表示它们在训练中被共同观察。在这个图中若两个节点（实体和属性）之间存在最短路径长度为<math>2k+1</math>，则只有在传播步数<math>n>k</math> 时，传播矩阵<math>T_{e,k}^{\left ( n \right ) } </math> 才为非零。若两个节点处于完全不连通的子图中，那么无论传播多少次，该组合都永远无法被学习（即<math>T_{e,k}^{\left ( n \right ) } </math>，对任意<math>n</math>成立。
例如，“Man–Walk”可能可达，“Lawyer–Ring”永远不可达，意味着后者不能合理组合。
'''描述性约束的渗流转变'''
在二分图框架下，泛化（或概念类的学习）可以定义为：尽管概念密度矩阵稀疏，但实体-属性连接对的大型集群仍然能够形成。关键问题是考察当<math>T^{\infty }</math>中非零元素占所有可能对<math>\left | E \right | \times \left | K \right |</math>的比例（代表模型能泛化出多少“未见过但合理”的实体–属性组合）。这种情况恰好对应于二分图上的键渗流（bond percolation）问题。
在键渗流中，我们研究最大连通集群的规模如何随每条边（键）存在概率<math>p</math>的变化而变化。通常存在一个临界阈值<math>p_c</math>:当<math>p<p_c</math>时，图处于不连通相，大多数节点孤立或属于小集群；当<math>p>p_c</math>时，图转变为连通相，出现跨越大部分图的巨型连通簇。这种从主要不连通状态到存在宏观集群的转变是渗流过程的标志特征，且随着节点数的增加，这一转变会愈发陡峭。
[[文件:Percolation-二分图.png|无|缩略图|800x800px|将构成看不见的概念(例如,实体和属性)的能力投射为二分图上的渗流：(a)若概念类仅部分出现在训练集中，或实体-属性连接稀疏，图中节点将形成多个“孤立簇”（见左图，颜色不同表示不同连通区域）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）；随着更多概念类被加入（虚线边表示新增连接），这些小簇开始合并（中图）。(b)我们的理论将这种转变建立为二阶相变，其中最大团簇的大小随着连接节点对的比例非线性地增加。]]
在简单渗流场景中（图的连接边随机选择，概率为<math>p</math>），渗流阈值为<math>p_c\approx \sqrt{1/\left | E \right | \left | K \right | } </math>（当<math> \left | E \right | </math>和<math> \left | K \right | </math>较大时）。这意味着当约<math>\sqrt{\left | E \right | \left | K \right | } </math>条边被连接时（总可能边数为<math>\left | E \right | \left | K \right | </math>），系统的连通簇会出现质变。对于<math>p>p_c</math>，最大簇的节点数迅速增长，任取一对实体–属性，其在同一簇中的概率趋近于常数。
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即观察更多实体–属性配对），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
=总结=
=总结=