集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

大语言模型的涌现 (查看源代码)

2025年6月5日 (四) 13:02的版本

添加33字节 、 2025年6月5日 (四) 13:02
→‎大语言模型涌现的机制解释
第178行： 第178行：  
大语言模型为什么会出现涌现现象？我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。
 
大语言模型为什么会出现涌现现象？我们能否预测什么时候大语言模型会发生涌现，甚至干预和调控这个过程？许多研究者致力于为大语言模型的涌现提出理论解释。首先，我们可以粗浅地从观察到的现象中归纳出一些结论。
   −
涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的缩放定律。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。
+
涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的[[规模缩放法则]]。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作。例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。涌现能力也会受模型训练充分程度的影响，当今的语言模型很可能没有得到最佳训练<ref name=":2" />，而且我们对于如何最佳地训练模型的理解也将随着时间的推移而发展，因此已有研究通常只能提供关于是否出现涌现现象的部分证据。总体而言，一种明智的做法是将涌现视为许多相关变量的函数。有研究者认为模型是否出现涌现现象，可以被看作模型参数规模、训练数据量大小、训练充分程度和具体任务类型等多种因素的未知函数<ref name=":JunlinZhang" />。
    
==知识量子理论==
 
==知识量子理论==
−
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。
+
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。
    
[[文件:Quanta exam.png|无|缩略图|500x500像素|关于知识量子的具体示例]]
 
[[文件:Quanta exam.png|无|缩略图|500x500像素|关于知识量子的具体示例]]
第187行： 第187行：  
比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。
 
比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从[[幂律分布]]。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。
   −
那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。
+
那么，知识量子理论能否用来解释[[涌现]]，以及建立起涌现和[[神经标度律]]之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值时损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是[[神经标度律]]。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。
    
[[文件:Quanta emerg.png|无|缩略图|500x500像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
 
[[文件:Quanta emerg.png|无|缩略图|500x500像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
第211行： 第211行：     
在研究中，作者使用渗流模型模拟了大语言模型的学习过程，并验证了这一模型的有效性。例如，在训练过程中，当模型的能力提升时，发现其能力提升与模型学习的语法规则和上下文依赖结构相关 。当这些结构学习到足够的程度后，模型的表现会突然提升，表明模型从一个“局部”能力的状态跃升到一个“全局”能力的状态 。这一现象与渗流模型中“临界点”过渡的特性一致。
 
在研究中，作者使用渗流模型模拟了大语言模型的学习过程，并验证了这一模型的有效性。例如，在训练过程中，当模型的能力提升时，发现其能力提升与模型学习的语法规则和上下文依赖结构相关 。当这些结构学习到足够的程度后，模型的表现会突然提升，表明模型从一个“局部”能力的状态跃升到一个“全局”能力的状态 。这一现象与渗流模型中“临界点”过渡的特性一致。
−
      
=参考文献=
 
=参考文献=
取自“https://wiki.swarma.org/index.php/特殊:移动版差异/44263”