842
个编辑
更改
跳到导航
跳到搜索
第274行：
第274行： + + + + + +
无编辑摘要
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
渗流阈值对应于模型从对组合的稀疏学习转向完整表征概念类的临界点。当边数量超过阈值时，模型能够推断未见过的组合，即使这些实体-属性对未在训练数据中显式共现。模型还应能在此阈值后区分不同的概念类；在社区检测问题（如随机块模型）中，分区检测阈值与<math>p_c</math>具有相同的标度律。由于在线学习中的迭代次数增加应对应于<math>p</math>的增加（即在数据中看到更多组合），模型性能发生转变的迭代点应与<math>\sqrt{\left | E \right | \left | K \right | } </math> 成正比。
=总结=
在大语言模型百花齐放的今天，我们很容易观察到大语言模型在特定能力上表现出的非线性跃迁特征：当模型规模较小时，这些能力完全不存在；但当参数规模突破某一临界点后，模型会突然展现出如复杂推理、上下文学习等新能力。这便是涌现现象。如果说平滑增长的神经标度律承诺我们，只要投入足够的资源，大模型的能力一定会持续增长。那么涌现现象便是在说，我们有可能四两拨千斤，在有些时候，只要让投入资源的规模再扩大一点，就可以获得出乎意料的超额回报。于是对于大模型涌现的描述、解释和预测是值得关注的重要课题。
但目前，学者们对于大模型涌现的描述更多停留在定性层面，而且受到下游任务设计、度量指标选取等诸多因素的影响。本词条综述了部分对于大模型涌现的代表性研究，而对于大模型涌现的机制解释，对于涌现、顿悟、神经标度律的统一理论解释，还有很大的领域空白，尤其是在如何借鉴复杂系统研究中的涌现相关理论上。未来随着可解释性人工智能技术的进一步发展，我们将对大模型涌现现象有更加深刻的理解。
=参考文献=
=参考文献=