更改

记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。

记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。

=== 神经网络中的涌现（Emergent Abilities） ===

=== 神经网络中的涌现（Emergent Abilities） ===

顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在[[大语言模型（LLM）]]发展时代，[[神经网络]]中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的[[非线性]]特征。

顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在[[大语言模型（LLM）]]发展时代，[[神经网络]]中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将大模型的涌现定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的[[非线性]]特征。

=== 早停机制（Early Stop） ===

=== 早停机制（Early Stop） ===

 

 

== 顿悟的场景 ==

== 顿悟的场景 ==