更改

你是否经历过学习中的‘灵光一现’？其实，人工智能模型也有这样的时刻。

你是否经历过学习中的‘灵光一现’？其实，人工智能模型也有这样的时刻。

[[神经网络]]中的顿悟（grokking）指的是一种反直觉的现象：当模型在训练过程中看似已经“死记硬背”（过拟合）而无法处理新数据时，如果我们不停止训练、坚持让它继续“思考”，它可能会在某个临界点突然“开窍”，从而掌握数据背后的真实规律，实现泛化能力的飞跃。

[[神经网络]]中的顿悟（grokking）指的是一种反直觉的现象：当模型在训练过程中看似已经“死记硬背”（过拟合）而无法处理新数据时，如果我们不停止训练、坚持让它继续“思考”，它可能会在某个[[临界点]]突然“开窍”，从而掌握数据背后的真实规律，实现泛化能力的飞跃。

我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。

我们可以用一个学生做题的例子来理解：想象一个刚学加法的小孩，起初他只是把练习册上的答案全背了下来（训练准确率100%），但一旦遇到没见过的数字就束手无策（测试准确率接近0%）。按照常规判断，这个孩子只是在死记硬背。