142
个编辑
更改
跳到导航
跳到搜索
第100行：
第100行： − + − + − + − +
→控制权之争
进一步地，Huang等人<ref>{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：
进一步地，Huang等人<ref>{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态：
(a) 渐进区(progressing)：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(a) '''渐进区(progressing)'''：当训练数据量超过模型记忆容量时，模型无法完全记忆所有数据，表现为先以零验证精度尽可能记忆训练数据，随后在保持训练精度提升的同时对部分验证数据产生泛化能力；
(b) 记忆区(memorization)：小规模训练数据下，模型能完全记忆且记忆回路效率优于泛化机制，因此仅表现为对训练数据的记忆行为，验证精度始终为零；
(b) '''记忆区(memorization)'''：小规模训练数据下，模型能完全记忆且记忆回路效率优于泛化机制，因此仅表现为对训练数据的记忆行为，验证精度始终为零；
(c) 半顿悟区(semi-grokking)：当训练数据量接近临界规模时，模型在完成全记忆后会表现出中等程度的泛化能力；
(c) '''半顿悟区(semi-grokking)'''：当训练数据量接近临界规模时，模型在完成全记忆后会表现出中等程度的泛化能力；
(d) 顿悟区(grokking)：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
(d) '''顿悟区(grokking)'''：训练数据量超越临界规模后，泛化回路效率超越记忆机制，导致模型在训练性能达到完美后经历长期延迟才实现从记忆到泛化的转变。
=== 参数空间 ===
=== 参数空间 ===