更改

</math>

</math>

该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。

该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。[math]K[/math]为规模法则的系数。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。

===知识记忆与容量限制===

===知识记忆与容量限制===