81
个编辑
更改
跳到导航
跳到搜索
第62行：
第62行： + − + − + − + − +
→顿悟的场景
'''5. 跳跃三元组（skip trigram）：'''该任务的输入是由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
'''5. 跳跃三元组（skip trigram）：'''该任务的输入是由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。
=== 非算法任务 ===
=== 非算法任务 ===
顿悟不仅仅存在于完美的数学公式中，刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅会出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集，并通过调整优化超参数实现了对顿悟的控制。进一步地，他们发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上证明<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>：
顿悟不仅仅存在于完美的数学公式中，刘子鸣团队在2022年<ref name=":1">{{cite journal | author1=Liu Z | author2=Kitouni O | author3=Nolte N S | author4=Michaud E | author5=Tegmark M | author6=Williams M | year=2022 | title=Towards understanding grokking: An effective theory of representation learning | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=34651–34663 | url=https://proceedings.neurips.cc/paper_files/paper/2022/file/dfc310e81992d2e4cedc09ac47eff13e-Paper-Conference.pdf }}</ref>首次证明，顿悟现象是机器学习中更为普遍的现象，不仅出现在算法数据集上，也会出现在主流基准数据集中，例如MNIST数据集；并通过调整优化超参数能够实现对顿悟的控制，发现显式增加初始化权重范数会诱发顿悟现象，并在以下三种非算数任务上得到了证明<ref name=":2">{{cite journal | author1=Liu Z | author2=Michaud E J | author3=Tegmark M | year=2023 | title=OMNIGROK: Grokking Beyond Algorithmic Data | journal=International Conference on Learning Representations (ICLR) | volume= | issue= | page= | url= }}</ref>：
* '''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。数据预处理阶段提取前1000个高频词，并将每条评论分词为词元索引数组。低频词被忽略，每条评论数组填充至长度500。采用[[LSTM]]模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。
* '''IMDb文本情感分析任务'''：该数据集包含5万条需分类为正面或负面的电影评论。采用[[LSTM]]模型进行分类，该模型包含两层结构，嵌入维度64，隐藏维度128。
* '''分子QM9任务'''：该数据是小分子及其性质的数据库。采用[[图卷积神经网络]]（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。数据集按50/50比例划分为训练集/测试集。
* '''分子QM9任务'''：该数据是小分子及其性质的数据库。采用[[图卷积神经网络]]（GCNN）预测各向同性极化率。该GCNN包含2个带ReLU激活的卷积层和1个线性层。
* '''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU[[多层感知机]]（MLP），采用均方误差损失。
* '''MNIST任务'''：在MNIST数据集上训练宽度200、深度3的ReLU[[多层感知机]]（MLP），采用均方误差损失。
除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中释放泛化电路的形成潜力。实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去顿悟，它就能自动学会进行多步推理。
除此之外，Abramov等人<ref>{{cite journal | author1=Abramov R | author2=Steinbauer F | author3=Kasneci G | year=2025 | title=Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers | journal=arXiv | volume= | issue= | page= | url=https://arxiv.org/abs/2504.20752 }}</ref>提出定向数据合成方法，在基于真实维基百科的多跳问答（Multi-hop QA）任务中，实验表明当比例系数超过特定阈值时，顿悟随即出现。这意味着，不需要复杂的提示工程，只要给模型足够的时间去顿悟，它就能自动学会进行多步推理。