49
个编辑
更改
跳到导航
跳到搜索
第301行：
第301行： + + +
→其他方向的规模规律
=== 其他方向的规模规律 ===
=== 其他方向的规模规律 ===
# <nowiki>低精度训练的缩放规律：Kumar等人在2024年研究了训练中数值精度对规模法则的影响。他们训练了一系列Transformer语言模型，分别使用不同位宽（如FP32、FP16、Int8等）来表示权重、激活和KV缓存，并测量精度变化对损失的影响 。结果表明，可以通过引入"有效参数数量"的概念，将数值精度的影响纳入规模定律的框架中。具体做法是定义 [math]\displaystyle{ N_{\text{eff}}(P) = N\big(1 - e^{-P/\gamma}\big) }[/math]，其中 [math]\displaystyle{ N }[/math] 为实际参数数，[math]\displaystyle{ P }[/math]为有效精度位数，[math]\displaystyle{ \gamma }[/math]是拟合常数。这个公式表示，用低 [math]\displaystyle{ P }[/math] 位精度训练时，模型的有效参数量低于实际参数——好似只有 [math]\displaystyle{ N_{\text{eff}} }[/math] 个高精度参数在发挥作用。随着精度 [math]\displaystyle{ P }[/math] 增加，[math]\displaystyle{ N_{\text{eff}} }[/math] 按指数逼近 [math]\displaystyle{ N }[/math]（精度无限高时恢复全性能）。该规律揭示：降低训练精度会以指数速度损耗模型容量，每减少一位精度，模型可表达的信息量并非线性降低，而是按 [math]\displaystyle{ e^{-1/\gamma} }[/math] 比例缩水。实验中，低精度训练的模型相当于有效参数变少，因此最终损失变高。例如，用FP16训练可能相当于只有~90%的参数在发挥作用；用Int8再降低则有效容量进一步损失。这一定量关系有助于指导实践：在接受些微性能损失的情况下，可用低精度来换取内存和算力优势，同时通过公式评估损失幅度是否可接受。研究还区分了训练精度和推理精度：他们发现，如果在高精度下完成训练，再用极低精度推理，模型在过度训练（远超收敛）的情况下对推理精度降低更具鲁莽性。总之，精度缩放规律将模型容量视为精度的函数，表明低精度带来的性能下降可以被视作模型有效规模减小的一种表现，其关系遵循可预测的指数规律。</nowiki>
# <nowiki>多模态任务的规模规律：越来越多证据表明，多模态模型（同时处理文本、图像、音频等的模型）也遵循类似的缩放法则。Apple团队的研究提出"原生多模态模型"的Scaling Laws假设，并通过实验验证：这类不依赖预训练单模态编码器、从零同时训练多模态输入的模型，其缩放行为与纯文本LLM相似。具体而言，在给定算力下，多模态模型的验证集损失同样随总计算量 [math]\displaystyle{ C }[/math] 近似按幂律降低；而参数数与训练样本数仍需保持大致1:1的平衡扩展才能最优利用算力，这与Chinchilla法则在多模态环境中再次得到呼应。不同模态的数据对幂律指数有所影响，比如图像数据可能使最优参数-数据比发生轻微偏移，但总体趋势不变。他们的实验还比较了多模态融合的不同架构，发现无论是早期融合（直接将视觉token和文本token一起喂入Transformer）还是晚期融合（分别编码后再合并），当规模增加时两者的性能提升曲线基本重合。这进一步印证了多模态模型的性能扩展主要受总参数和总数据驱动，与单模态情况遵循同类规律，而不是取决于特定融合策略。此外，在计算机视觉领域，Dosovitskiy等关于Vision Transformer (ViT) 的工作早在2021年就表明：图像分类误差随模型尺寸和数据规模扩展也呈良好的幂律形态。比如Zhai等在TPUv3集群上训练ViT得出：ImageNet上的最低错误率 [math]\displaystyle{ L_{\min} }[/math] 可用公式 [math]\displaystyle{ 0.09 + \frac{0.26}{(C+0.01)^{0.35}} }[/math] 拟合（其中 [math]\displaystyle{ C }[/math] 是以TPU天为单位的计算量），显示随着计算增加错误率平滑逼近于0.09的不可约误差。这一指数规律与语言模型十分类似（只是指数和常数不同）。再如OpenAI的CLIP模型在跨模态对比学习中，其图文匹配精度也随着模型和数据扩大而提升，且当数据足够多时，小模型与大模型的差距减小，符合典型的缩放曲线。总的来说，无论是语言、视觉，还是多模态联合任务，规模扩展带来的性能提升都服从相近的数学规律。虽然不同领域的具体幂指数、阻塞项可能有差异，但"更大更好，且收益递减"是通用趋势。值得一提的是，一些最新研究开始探索打破常规幂的方法，例如通过提高数据质量、数据多样性来实现优于同等数量数据的效果，从而在某些场景下达到"超_Chinchilla_"或突破既有指数的表现。但这些改进依然需要在标准Scaling Laws框架下衡量增益，看是否改变了幂律指数或者扩展了线性段长度。总体而言，多模态和特殊训练策略并未推翻规模法则，反而延展了其适用范围和内涵：规模仍然是驱动AI性能的核心因素之一，其影响可以被刻画和预测，只是在不同情境下呈现出丰富的阶段性和细微差异。</nowiki>
= 参考文献 =
= 参考文献 =