81
个编辑
更改
跳到导航
跳到搜索
第101行：
第101行： − +
→控制权之争
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
进一步地，Huang等人<ref name=":13">{{cite web | author1=Huang Y | author2=Hu S | author3=Han X | author4=Liu Z | author5=Sun M | year=2024 | title=Unified View of Grokking, Double Descent and Emergent Abilities: A Comprehensive Study on Algorithm Task | website=First Conference on Language Modeling | url=https://openreview.net/forum?id=cG1EbmWiSs }}</ref>对记忆与泛化之争产生的不同训练动态进行了更详细的定义和划分，他们研究了模型[[隐空间]]维度和训练数据量如何影响模型训练动态，并根据这两个参数绘制出相空间，每个区域对应实验中观察到的不同训练动态，如下图所示：
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|不同配置与训练数据量下模型表现出的动态差异与相图|764x764像素]]
[[文件:不同配置模型针对特定训练数据量时表现出的动态差异.png|none|缩略图|不同配置与训练数据量下模型表现出的动态差异与相图|764x764像素]]
左图展示了随着模型规模增大而提升的记忆能力与降低的临界数据集规模，可以将图像划分为四个区域——渐进区、记忆区、半顿悟区和顿悟区。每个区域对应右侧展示的特定训练动态特征，关键交点处标注了估计值。各子图呈现特定训练动态如下：
左图展示了随着模型规模增大而提升的记忆能力与降低的临界数据集规模，可以将图像划分为四个区域——渐进区、记忆区、半顿悟区和顿悟区。每个区域对应右侧展示的特定训练动态特征，关键交点处标注了估计值。各子图呈现特定训练动态如下：