81
个编辑
更改
跳到导航
跳到搜索
第37行：
第37行： + 第44行：
第45行： + 第60行：
第62行： + 第75行：
第78行： − −
→顿悟的场景
== 顿悟的场景 ==
== 顿悟的场景 ==
起初，顿悟似乎只是简单数学[[玩具模型]]的一个特性，但随着研究深入，人们发现从[[图像识别]]到[[大语言模型]]，顿悟无处不在。
起初，顿悟似乎只是简单数学[[玩具模型]]的一个特性，但随着研究深入，人们发现从[[图像识别]]到[[大语言模型]]，顿悟无处不在。
=== 模运算 ===
=== 模运算 ===
[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]
[[文件:二元运算.png|发现顿悟现象的部分二元运算|无|无框|600x600像素|替代=]]
=== 其他算法任务 ===
=== 其他算法任务 ===
'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
=== 非算法任务 ===
=== 非算法任务 ===
=== 大语言模型 ===
=== 大语言模型 ===
现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。
现有关于顿悟的研究通常针对一两个高度特定或玩具级任务训练小型模型数千个周期，而Li等人<ref>{{cite journal | author1=Li Z | author2=Fan C | author3=Zhou T | year=2025 | title=Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2506.21551 }}</ref>首次基于7B参数大语言模型（LLM）OLMoE的单次预训练过程展开研究，他们计算OLMoE在预训练数据上的训练损失，并在多样化基准任务（包括数学推理、代码生成、常识/领域知识检索任务）上评估其泛化性能，该研究首次证实顿悟现象在实用化大规模基础模型的预训练中依然存在，但不同数据可能异步进入其顿悟阶段。
== 顿悟现象的可解释性分析 ==
== 顿悟现象的可解释性分析 ==