更改

在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。

在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势<ref name=":12" />。

<nowiki>[math]\displaystyle D_{\text{effective}} \approx K, N^{\alpha}, D_{\text{finetune}}^{\beta}[/math]</nowiki>

<math>\displaystyle D_{\text{effective}} \approx K N^{\alpha} D_{\text{finetune}}^{\beta}</math>

<nowiki>该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。</nowiki>

该公式定义了“等效转移数据量” [math]D_{\text{effective}}[/math]，表示如果没有预训练，要获得同样性能需要多少下游数据。预训练模型的参数规模 [math]N[/math] 越大，其微调时的增益越明显，即 [math]\alpha[/math] 越大时，模型泛化能力越强；而 [math]\beta[/math] 则反映目标数据与预训练数据分布的相似度。整体来看，这一关系说明更大的预训练模型相当于给任务“虚拟地”增加了更多数据，尤其在低资源场景中，预训练带来的收益最为显著。

===知识记忆与容量限制===

===知识记忆与容量限制===