81
个编辑
更改
跳到导航
跳到搜索
第144行：
第144行： + + + + + + +
→双降（double descent）
=== 双降（double descent） ===
=== 双降（double descent） ===
Belkin等人（2019）提出的双下降（Double Descent）现象揭示了模型验证误差随规模变化的非单调模式：误差先下降，随后因过拟合噪声而上升，最终随着模型容量的进一步扩大而再次下降。Nakkiran等人（2020）进一步在多种架构下验证了这一现象，指出误差峰值往往出现在训练误差趋近于零的临界区间。
近期研究致力于将双下降现象与顿悟现象联系起来。Davies等人（2022）提出了一种基于“规模-时间”对偶性的假说，认为两者本质上反映了模型对不同复杂度模式的学习速率差异：模型倾向于先快速拟合简单的虚假相关性（导致第一次下降后回升），只有在长时间训练或更大规模下，才能掌握复杂的泛化模式（导致第二次下降，即顿悟）。
具体而言，这种关联的表现形式受限于训练数据量。当数据量不足（低于特定临界点）时，模型随规模扩大会经历“渐进期—记忆期—半顿悟期—顿悟期”四个阶段，其中“记忆期”的性能恶化直接对应双下降的峰值；反之，当数据量充足时，模型能够跳过记忆期带来的负面影响，直接从渐进期过渡到顿悟期，表现为泛化性能的单调提升。
Grokking 现象和双重下降现象可以被视为同一学习机制在不同条件下的表现。它们都源于一个共同的学习动态：神经网络的归纳偏置更倾向于选择那些泛化能力强但学习速度慢的模式，因此模型会经历一个从“快速学习但泛化差”的模式向“学习慢但泛化好”的模式过渡的过程。
=== 大语言模型的能力涌现 ===
=== 大语言模型的能力涌现 ===