81
个编辑
更改
→神经网络的记忆（Memory）与泛化（Generalization）
== 相关基础知识 ==
== 相关基础知识 ==
=== 神经网络的记忆（Memory）与泛化（Generalization） ===
=== 神经网络的记忆（Memorization）与泛化（Generalization） ===
记忆指网络对训练数据的拟合能力。强大的记忆力能让模型在训练集上表现完美，但如果过强，模型可能会记住数据所包含的噪声或偶然细节，导致[[过拟合]]。泛化指模型将学到的规律应用到未见过的样本上的能力，提升泛化能力是机器学习的核心目标。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
记忆与泛化两者需要平衡,既要有足够容量去拟合数据中存在的真实模式，又要通过[[正则化]]、[[早停]]、[[交叉验证]]等手段抑制过拟合。直观地说，记忆像“背答案”，泛化像“学方法、会举一反三”；实践中人们通常以降低验证误差为目标，避免训练误差下降而验证误差上升的过拟合，也避免训练与验证误差都高的[[欠拟合]]。
=== 神经网络中的涌现（Emergent Abilities） ===
=== 神经网络中的涌现（Emergent Abilities） ===