49
个编辑
更改
小第965行：
第965行： − + − + − + − + − + − + − + − +
→大语言模型
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。
早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导。
随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。
'''2. 推理阶段的规律'''
'''2. 推理阶段的规律'''
训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减。
训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减。<ref name=":12" />
'''3. 分段幂律与断裂点'''
'''3. 分段幂律与断裂点'''
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速。
Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速。<ref name=":12" />
'''4. 微调与迁移规律'''
'''4. 微调与迁移规律'''
在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势。
在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势。<ref name=":12" />
'''5. 知识记忆与容量限制'''
'''5. 知识记忆与容量限制'''
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键。
LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键。<ref name=":12" />
'''6. 参数效率的提升'''
'''6. 参数效率的提升'''
除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势。
除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势。<ref name=":12" />
'''7. 其他扩展方向'''
'''7. 其他扩展方向'''
低精度训练：降低权重/激活精度可视为减少“有效参数”，其性能损失符合指数规律。
低精度训练：降低权重/激活精度可视为减少“有效参数”，其性能损失符合指数规律。<ref name=":12" />
多模态任务：无论是文本、图像还是跨模态模型，扩展规模带来的性能提升同样遵循幂律，验证了规模法则的普适性。
多模态任务：无论是文本、图像还是跨模态模型，扩展规模带来的性能提升同样遵循幂律，验证了规模法则的普适性。<ref name=":12" />
= 参考文献 =
= 参考文献 =
<references />
<references />