91
个编辑
更改
跳到导航
跳到搜索
第276行：
第276行： + + + + + + + + + + + + + + + + + + + + + +
→渗流模型
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
=== 语言学习中的涌现能力 ===
Lubana等人使用形式语言构建实验系统进一步研究语言学习中的涌现能力，即在线学习场景下数据扩展引发的涌现。实验使用的形式语言是最小上下文敏感的，其句法规则由上下文无关语法定义，而上下文敏感性则通过后验的类型约束实现。
[[文件:Learning.png|无|缩略图|800x800px|对结构的学习驱动能力的涌现]]
在Lubana等人的实验中，大语言模型的学习过程分为三个阶段：
'''阶段1：语法获取'''
模型首先学习生成合乎语法的句子（通过语法性指标衡量）。在语法性提升的同时，词元准确率开始改善。这表明模型对数据通用结构（即语法）的学习会影响其他能力的学习。
'''阶段2：关系性类型约束的获取'''
性能提升是由那些主要需要语法正确性和关系性类型约束的句子驱动的。一旦学习到语法和关系性类型约束，模型就会学习使用它们来解决不需要描述性属性知识的输入，从而导致损失和准确性的突然提高。
'''阶段3：描述性类型约束的学习'''
模型基于类型约束图的结构进行隐式推理，哪些属性和实体构成了有效的上下文。这个阶段的结束对应着从记忆到通用解的转变。
本研究基于物理学和复杂系统等领域的相变现象提出了神经网络能力涌现的现象学定义。该定义认为，在涌现点模型会获取对特定能力学习至关重要的通用结构；这些结构的掌握进而导致多项任务性能的突然提升（通常存在一定延迟）。通过与相变现象的类比，该模型强调语法性和类型约束在此充当序参量，能够近似预测任务性能突跃的时间。研究人员进一步通过形式语言学习任务验证了这一观点：模型先学习语言的两大基础结构（语法和类型约束），随后在数据中观察到具体任务的性能提升。
=总结=
=总结=