28
个编辑
更改
跳到导航
跳到搜索
小第138行：
第138行： − − ==知识量子理论== − 2023年，MIT的Tegmark团队借鉴量子的概念，提出了知识量子理论来诠释大语言模型的各种现象，包括神经标度律、涌现等<ref>Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref><ref name=":quanta">。 − − [[文件:Quanta emerg.png|无|缩略图|800x800像素|当任务涉及单个量子时，loss的变化体现为涌现；涉及多个量子时，体现为神经标度律]] + + + + + + + + + + 第157行：
第162行： − +
已还原Matthew（对话）的编辑至最后由Liangjin修订的版本
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=
=== 渗流模型 ===
=== 渗流模型 ===
Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki>
Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki>
=== 离散量子理论（Quantization Model） ===
The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki>
=== 大模型的顿悟现象（Grokking） ===
机器学习中的 grokking 现象是指，训练集的收敛往往快于测试集的收敛，二者的收敛速度存在一个时间差。在这个时间差内，算法更像是在过拟合的空间中运作，然后随着迭代次数增加向泛化性上优化，即测试集准确度升高。
* Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets，<nowiki>https://arxiv.org/pdf/2201.02177</nowiki>
* Towards Understanding Grokking: An Effective Theory of Representation Learning. <nowiki>https://proceedings.neurips.cc/paper_files/paper/2022/hash/dfc310e81992d2e4cedc09ac47eff13e-Abstract-Conference.html</nowiki>
* A Good ML theory is Like Physics: A Physicist’s Analysis of Grokking <nowiki>https://zimingliublog.wordpress.com/2023/06/16/a-good-ml-theory-is-like-physics-a-physicists-analysis-of-grokking/</nowiki>
=== Double Descent ===
Deep Double Descent: Where Bigger Models and More Data Hurt. <nowiki>https://arxiv.org/abs/1912.02292</nowiki>
https://pattern.swarma.org/study_group_issue/446
https://pattern.swarma.org/study_group_issue/446
= 参考文献 =
== 参考文献 ==
<references />
<references />