| 第1,380行： |
第1,380行： |
| | '''1. 训练阶段的规律''' | | '''1. 训练阶段的规律''' |
| | | | |
| − | 早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，其一般形式为 | + | 早期研究（Kaplan 等）表明，训练损失随参数数量（N）、数据量（D）和计算量（C）的增加呈幂律下降，且单独扩展某一要素会出现减益，需三者协同扩展。 |
| | | | |
| − | [math]\displaystyle\mathcal{L}(N,D) \approx \mathcal{L}_\infty + a,N^{-\alpha} + b,D^{-\beta} [/math] <ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>
| + | 随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应大致保持 1:1 平衡。许多大型模型（如 GPT-3、Gopher）实际上训练不足，而更小但数据更多的 Chinchilla 模型在基准上全面领先。这一原则成为近年新模型（如 LLaMA）的重要设计指导<ref name=":12">[https://wiki.swarma.org/index.php/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A7%84%E6%A8%A1%E6%B3%95%E5%88%99 大语言模型的规模法则]</ref>。 |
| − | | |
| − | 其中 [math]\mathcal{L}_\infty[/math] 为不可压缩误差下界， [math]\alpha,\beta>0[/math] 为幂律指数。若以总计算量 [math]C \propto N \cdot D[/math] 表示，则可写为
| |
| − | | |
| − | [math]\displaystyle\mathcal{L}(C) \approx \mathcal{L}_\infty + A,C^{-\gamma} [/math] <ref name=":12" />
| |
| − | | |
| − | 说明扩大算力投入可持续降低损失，但收益逐渐递减。
| |
| − | | |
| − | 随后，Hoffmann 等提出 Chinchilla 法则：在给定算力预算下，模型规模与训练数据量应保持近似线性平衡
| |
| − | | |
| − | [math]\displaystyle D^\star \propto N^\star, [/math] <ref name=":12" />
| |
| − | | |
| − | 即最优情况下参数量与数据量呈 1:1 比例增长。此规律解释了为何在同等算力下，更小但训练更充分的模型（如 Chinchilla）可优于过大的未充分训练模型（如 GPT-3、Gopher）。
| |
| | | | |
| | '''2. 推理阶段的规律''' | | '''2. 推理阶段的规律''' |
| | | | |
| − | 训练完成后，增加推理时的计算同样带来性能增益。例如在 AlphaGo 中，棋力随蒙特卡洛树搜索次数 [math]s[/math] 呈对数线性增长：
| + | 训练完成后，增加推理时的计算同样带来性能增益。例如 AlphaGo 的棋力随蒙特卡洛树搜索次数的增加呈对数线性提升；AlphaCode、GPT-4 等模型在增加候选生成、采样次数或链式推理步骤时，解题成功率也持续提高。规律表明：在应用阶段扩充推理计算，可以部分替代模型规模的不足，但收益逐渐递减。<ref name=":12" /> |
| − | | |
| − | [math]\displaystyle\text{Elo}(s) \approx A + B \ln s, [/math] <ref name=":12" />
| |
| − | | |
| − | <nowiki>而在 LLM 中，采样候选数量 [math]k[/math] 或推理步数的增加，也能提升解题成功率。若假设单次采样成功概率为 [math]p[/math]，则整体成功率为 [math]\displaystyleP_{\text{succ}}(k) = 1 - (1 - p)^k,[/math]体现出“计算换性能”的递减收益特性。</nowiki><ref name=":12" />
| |
| | | | |
| | '''3. 分段幂律与断裂点''' | | '''3. 分段幂律与断裂点''' |
| | | | |
| − | Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非单一幂律，而在不同区间呈现分段斜率： | + | Caballero 等提出“断裂式规模法则”（Broken Neural Scaling Laws），发现性能曲线并非始终遵循单一幂律，而是在不同规模区间呈现分段斜率。这种“拐点”现象广泛存在于语言、视觉、多模态、强化学习等任务中，说明模型扩展的收益可能阶段性放缓或重新加速。<ref name=":12" /> |
| − | | |
| − | [math]\displaystyle \mathcal{L}(x) = \mathcal{L}\infty + a_i,x^{-\alpha_i}, \quad x \in [x_i, x{i+1}), [/math] <ref name=":12" />
| |
| − | | |
| − | 其中 [math]\alpha_i[/math] 在不同规模区间发生突变，形成“拐点”。这种现象广泛存在于语言、视觉、多模态、强化学习任务中，表明模型扩展的收益可能阶段性减缓或重新加速。
| |
| | | | |
| | '''4. 微调与迁移规律''' | | '''4. 微调与迁移规律''' |
| | | | |
| − | 在下游任务上，预训练模型显著提升小数据场景表现。实验显示，误差随参数规模 [math]N[/math] 与微调数据量 [math]F[/math] 的联合幂律关系可表示为
| + | 在下游任务上，预训练模型显著改善小数据场景的表现，相当于“放大”了微调数据集。研究表明，性能随参数规模和微调数据量呈幂律关系，并可定义“等效转移数据”来衡量预训练带来的增益。这解释了为什么更大预训练模型在低资源任务上更具优势。<ref name=":12" /> |
| − | | |
| − | [math]\displaystyle\mathcal{E}(N,F) \approx \mathcal{E}_\infty + a,N^{-\alpha} + b,F^{-\beta}, [/math] <ref name=":12" />
| |
| − | | |
| − | <nowiki>并可引入“等效迁移数据量” [math]F_{\text{eff}} = F + \kappa N^{\psi}[/math]，表示预训练带来的额外知识转移效果。较大的预训练模型在低资源任务中等价于使用了更大的有效数据集。</nowiki>
| |
| | | | |
| | '''5. 知识记忆与容量限制''' | | '''5. 知识记忆与容量限制''' |
| | | | |
| − | 模型参数容量决定了其“可存储知识”的上限。研究估计，每个参数平均可存储约 3.6 比特信息：
| + | LLM 的事实记忆能力基本随参数线性扩展，但存在上限。研究估计，每个参数平均只能存储约 3.6 比特的信息，意味着仅靠增大数据规模无法无限增加模型记忆，最终会趋于饱和。因此，检索增强等外部机制被认为是突破参数记忆瓶颈的关键。<ref name=":12" /> |
| − | | |
| − | [math]\displaystyle \text{MemBits}_{\max} \approx 3.6,N, [/math] <ref name=":12" />
| |
| − | | |
| − | 因此模型的事实记忆能力大体随参数线性增长，但无法无限扩张。若每条知识平均需 [math]\bar b[/math] 比特表示，则可存储的最大知识数量为 [math]\displaystyle \text{Facts}_{\max} \approx \frac{3.6,N}{\bar b}. [/math] <ref name=":12" />这意味着仅靠增大参数或数据无法突破信息饱和上限，需通过外部检索或混合记忆机制实现扩展。
| |
| | | | |
| | '''6. 参数效率的提升''' | | '''6. 参数效率的提升''' |
| | | | |
| − | 除了“做大”，模型单位参数的效率也在提升。所谓 Densing Law 指出，模型容量密度 [math]\delta(t)[/math] 随时间呈指数增长：
| + | 除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势。<ref name=":12" /> |
| − | | |
| − | [math]\displaystyle\delta(t) = \delta_0 , 2^{t / \tau}, \qquad \tau \approx 0.25\ \text{年},[/math] <ref name=":12" />
| |
| − | | |
| − | 即约每三个月容量效率翻一倍；反之，实现同等性能所需参数量指数下降：
| |
| − | | |
| − | <nowiki>[math]\displaystyleN_{\text{req}}(t) = N_0 , 2^{-t / \tau}.[/math] </nowiki><ref name=":12" />
| |
| − | | |
| − | 这一趋势类似于“摩尔定律”，反映算法与架构创新带来的持续压缩效应。
| |
| | | | |
| | '''7. 其他扩展方向''' | | '''7. 其他扩展方向''' |
| | | | |
| − | <nowiki>低精度训练：权重/激活位宽 [math]b[/math] 的降低可视为减少“有效参数”，其量化误差方差满足 [math]\displaystyle \sigma^2_{\text{quant}} \propto 2^{-2b}, [/math] </nowiki><ref name=":12" /> 性能下降近似服从指数规律 [math]\displaystyle \mathcal{L}(b) \approx \mathcal{L}_\infty + c,e^{-\lambda b} [/math]。
| + | 低精度训练：降低权重/激活精度可视为减少“有效参数”，其性能损失符合指数规律。<ref name=":12" /> |
| | | | |
| − | 多模态任务：无论是文本、图像还是跨模态模型，性能随总规模 [math]s[/math] 的提升普遍遵循 [math]\displaystyle \mathcal{L}(s) = \mathcal{L}_\infty + a,s^{-\alpha}, [/math] <ref name=":12" />验证了规模法则的普适性与跨模态可迁移性。
| + | 多模态任务：无论是文本、图像还是跨模态模型，扩展规模带来的性能提升同样遵循幂律，验证了规模法则的普适性。<ref name=":12" /> |
| | | | |
| | = 参考文献 = | | = 参考文献 = |
| | <references /> | | <references /> |