更改

渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right |  } </math> 成正比。

渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right |  } </math> 成正比。

=== 实验验证 ===

=== 形式语言学习中的涌现能力 ===

Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。

Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。

Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。

Lubana等人将模型的表现绘制为训练迭代次数的函数，由于实验处于一个在线学习 + 恒定步长的训练设定中，该分析等价于研究数据扩展的效果。结果如下图所示，揭示出模型学习动态中存在三个清晰的阶段。

[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现：(a)语法和类型检查评估作为迭代或数据的函数；(b)打乱复原的表现；(c)条件生成的表现；(d)学习曲线。损失（Loss）还显示了与结构学习相对应的相边界处的突然变化；(e)描述性/相关性句子的表现。]]

[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现：(a)语法性与类型检查准确率随训练迭代变化：语法习得阶段（灰）、关系约束习得阶段（粉）、描述约束习得阶段（绿）；(b)打乱复原的表现：在阶段边界附近，这个任务出现明显性能跃迁；(c)条件生成的表现：在阶段边界附近，这个任务出现明显性能跃迁；(d)训练损失随时间变化：每个结构被学会的时点伴随一次损失下降；(e)描述性/相关性句子的表现：打乱复原任务在描述句子上的提升，主要由描述约束习得驱动。]]

若模型仅靠记忆，它无法在未见过的配对上表现良好。因此可以说明模型正在根据类型约束图的结构，隐式地推理哪些实体和属性可以共同出现。

若模型仅靠记忆，它无法在未见过的配对上表现良好。因此可以说明模型正在根据类型约束图的结构，隐式地推理哪些实体和属性可以共同出现。

这表明第二阶段主要以“记忆”为主，而第三阶段标志着从记忆式解决方案向泛化式解决方案的过渡。

这表明第二阶段主要以“记忆”为主，而第三阶段标志着从记忆式解决方案向泛化式解决方案的过渡。

=总结=

=总结=