3,094
个编辑
更改
跳到导航
跳到搜索
第2,088行：
第2,088行： − 除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓 Densing Law 指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势 <ref name=":12" />。+
→参数效率的提升
===参数效率的提升===
===参数效率的提升===
除了单纯“做大”，模型单位参数的有效性也在快速提高。所谓的[[密集化法则]]（Densing Law）则指出，模型的“容量密度”大约每 3 个月翻一倍，显示算法、架构和训练方法的持续改进让更小的模型也能达到过去大模型的水平，类似“摩尔定律”的趋势 <ref name=":12" />。
===其他扩展方向===
===其他扩展方向===