842
个编辑
更改
跳到导航
跳到搜索
第174行：
第174行： − +
→知识量子理论
==知识量子理论==
==知识量子理论==
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。
2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref name=":quanta" />。作者们假设，知识是以知识量子（knowledge quanta）的形式一份一份存在在自然语言当中。当大语言模型进行训练和学习时，就是在学一个个知识量子。下图给出的，是作者们通过对梯度进行聚类得到的知识量子的示例。
[[文件:Quanta exam.png|无|缩略图|500x500像素|关于知识量子的具体示例]]
[[文件:Quanta exam.png|无|缩略图|500x500像素|关于知识量子的具体示例]]