更改

'''2. n位k稀疏奇偶校验（Parity Check）：'''这是一个典型[[离散搜索]]问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特，并计算它们的异或作为标签。

'''2. n位k稀疏奇偶校验（Parity Check）：'''这是一个典型[[离散搜索]]问题。Barak等人<ref>{{cite journal | author1=Barak B | author2=Edelman B | author3=Goel S | author4=Kakade S | author5=Malach E | author6=Zhang C | year=2022 | title=Hidden progress in deep learning: SGD learns parities near the computational limit | journal=Advances in Neural Information Processing Systems | volume=35 | issue= | page=21750–21764 | url= }}</ref>通过大量实验证明，使用标准初始化（均匀、高斯、伯努利）和标准训练（SGD）的各种神经网络架构（包括 2 层 MLP、特定设计的单神经元网络、Transformer、PolyNet），能够在训练步数接近计算极限<math> n^{O(k)}</math> 的情况下，成功学习 k-稀疏 n 位奇偶函数，即从<math> n </math>个比特中找出 <math>k </math>个关键比特，并计算它们的异或作为标签。

2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：

2023年，Nanda等人<ref name=":0" />发现有限数据是顿悟现象的必要条件，而无限数据会导致模型直接泛化，并在以下三种运算中证实这一现象：

'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。

'''5. 跳跃三元组：'''该任务输入由0到19构成的符号序列（其中恰好一个符号≥10），模型需输出≥10的符号。该任务可通过学习10个跳跃三元组解决。如 [0,3,15,7,...,2]，模型需输出该特殊token 15。在1层仅注意力Transformer上，训练数据限制为512个样本时出现顿悟；使用随机生成的无限数据时未出现顿悟，而是直接学习了所有跳跃三元组规则。

=== 非算法任务 ===

=== 非算法任务 ===