81
个编辑
更改
跳到导航
跳到搜索
第22行：
第22行： + +
→相关基础知识
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
=== 神经网络中的涌现（Emergent Abilities） ===
=== 神经网络中的涌现（Emergent Abilities） ===
顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在[[大语言模型（LLM）]]发展时代，[[神经网络]]中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的[[非线性]]特征。
顿悟是一种特殊的[[涌现]]现象，表现为泛化能力的突然跃升,可以被视为一种时间维度上的涌现。在[[大语言模型（LLM）]]发展时代，[[神经网络]]中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异，将其定义为小型模型不具备、但突然出现在大型模型中的能力特征<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>。而顿悟则是随着训练时间（步数）的增加，模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后，性能发生质变的[[非线性]]特征。
=== 早停机制（Early Stop） ===
=== 早停机制（Early Stop） ===