3,094
个编辑
更改
跳到导航
跳到搜索
第2,078行：
第2,078行： − LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。+ − [math]\displaystyle I_{\max}\approx 3.6,N\ \text{bits}[/math]+ + + − 该公式表明模型的总记忆量与参数数量呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。+
→知识记忆与容量限制
===知识记忆与容量限制===
===知识记忆与容量限制===
[[大语言模型]]（LLM）的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键<ref name=":12" />。
:<math>
I_{\max}\approx 3.6N\ \text{bits}
</math>
该公式表明模型的总记忆量[math]I_{\max}[/math]与参数数量[math]N[/math]呈线性关系，且每个参数能存储的信息量几乎固定。当训练数据量超过模型能记住的总容量时，模型会自动转向泛化学习而非记忆具体事实。因此，继续增加数据并不会提升总记忆，只会降低单个样本被精确记住的概率。换言之，模型的记忆空间是有限资源，扩展记忆的唯一方式是增加参数或借助外部知识检索机制。
===参数效率的提升===
===参数效率的提升===