81
个编辑
更改
→控制权之争
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|none|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图|764x764像素]]
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|none|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图。左图展示了随着模型规模增大而提升的记忆能力与降低的临界数据集规模，可以将图像划分为四个区域——渐进区、记忆区、半顿悟区和顿悟区。每个区域对应右侧展示的特定训练动态特征，关键交点处标注了估计值。|764x764像素]]
各子图呈现特定训练动态如下：
(a) '''渐进区(progressing)'''：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(a) '''渐进区(progressing)'''：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
=== 参数空间 ===
=== 参数空间 ===