2023年,MIT的Tegmark团队借鉴量子的概念,提出了知识量子理论来诠释大语言模型的各种现象,包括神经标度律、涌现等<ref name=":quanta" />。作者们假设,知识是以知识量子(knowledge quanta)的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时,就是在学一个个知识量子。下图给出的,是作者们通过对梯度进行聚类得到的知识量子的示例。 | 2023年,MIT的Tegmark团队借鉴量子的概念,提出了知识量子理论来诠释大语言模型的各种现象,包括神经标度律、涌现等<ref name=":quanta" />。作者们假设,知识是以知识量子(knowledge quanta)的形式一份一份存在在自然语言当中的。当大语言模型进行训练和学习时,就是在学一个个知识量子。下图给出的,是作者们通过对梯度进行聚类得到的知识量子的示例。 |