更改

=== 控制权之争 ===

=== 控制权之争 ===

研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值<math>𝐷_{\text{crit}</math><ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。

研究人员也开始理解网络顿悟数据的过程。Varma 等人指出，模型执行任务时存在两种机制：高效但学习慢的泛化机制和低效但学习快的记忆算法。顿悟现象的突然性源于记忆机制与泛化算法之间主导性的转换——只有当模型完全抑制了其记忆机制之后，泛化能力才会真正显现出来，并且存在一个数据集规模的临界值<math>𝐷_{\text{crit}}</math><ref>{{cite web | author1=Varma V | author2=Shah R | author3=Kenton Z | author4=Kramár J | author5=Kumar R | year=2023 | title=Explaining Grokking Through Circuit Efficiency | website=arXiv | url=https://arxiv.org/abs/2309.02390 }}</ref>。因此，虽然泛化能力的延迟似乎突然出现，但网络内部参数实际上一直在学习泛化算法。只有当网络既学会了泛化算法，又完全消除了记忆算法时，才能实现顿悟。Nanda说：“看似突然的事情，实际上可能表面之下是渐进的”——这个问题在其他机器学习研究中也出现过。

并且，由于临界数据集规模<math>𝐷_{\text{crit}</math>决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足<math>𝐷 < 𝐷_{\text{crit}</math>条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 <math>𝐷 ≈ 𝐷_{\text{crit}}</math>时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美：

并且，由于临界数据集规模<math>𝐷_{\text{crit}}</math>决定记忆和泛化竞争结果，通过控制数据集规模可衍生逆顿悟（ungrokking）和半顿悟（semi-grokking）现象。逆顿悟现象是指若对已完成顿悟的网络在新数据集（满足<math>𝐷 < 𝐷_{\text{crit}}</math>条件）上继续训练，网络会退化为显著记忆状态，导致测试损失重新恶化。半顿悟是指当 <math>𝐷 ≈ 𝐷_{\text{crit}}</math>时，记忆算法与泛化算法在收敛过程中相互竞争，因此我们观察到测试损失有所改善但未达完美：

[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|不同配置与训练数据量下模型表现出的动态差异与相图|无框|664x664像素]]

[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|不同配置与训练数据量下模型表现出的动态差异与相图|无框|664x664像素]]