842
个编辑
更改
跳到导航
跳到搜索
第140行：
第140行： − + + + + + + + − === 渗流模型 ===+ 第150行：
第156行： + + + + 第156行：
第166行： − − = 参考文献 = − <references />
无编辑摘要
==知识量子理论==
==知识量子理论==
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref>Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref><ref name=":quanta">。
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。
[[文件:Quanta exam.png|无|缩略图|800x800像素|关于知识量子的具体示例]]
比如图中展示的50号聚类得到的知识量子，便是专门负责对数字序号进行预测的知识。而100号聚类得到的知识量子，是对于代码中换行符号的预测。这些知识量子的重要性及使用频率可以非常不同。根据[[齐普夫定律]]，作者假设知识量子在语料中的分布服从幂律分布。所以这正是作者能够从知识量子理论中推出神经标度律的关键假设所在。
那知识量子理论能否用来解释涌现，以及建立起涌现和神经标度律之间的关联呢？如下图所示，交叉熵损失随着模型参数规模的增大会有不同的下降方式，一种是当参数规模达到某一阈值是损失突然大幅下降，便说明在这个任务上大模型出现涌现现象；另外则是损失平滑线性地下降，这便对应的是神经标度律。作者发现，当任务只和单个量子相关（Monogenic）的时候，损失的变化呈现为涌现；而如果任务和多个量子都相关（Polygenic），损失的变化趋势便呈现为神经标度律。按照这种分析，神经标度律其实是大量知识量子各自涌现结果的平均现象。
[[文件:Quanta emerg.png|无|缩略图|800x800像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
[[文件:Quanta emerg.png|无|缩略图|800x800像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]]
== 渗流模型 ==
Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki>
Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki>
= 参考文献 =
<references />
https://pattern.swarma.org/study_group_issue/446
https://pattern.swarma.org/study_group_issue/446