336
个编辑
更改
→影响下游任务能力涌现的因素及争议
因此模型在给定输入的情况下，预测出单个正确token的概率为：
因此模型在给定输入的情况下，预测出单个正确token的概率为：
: <math>p(single token correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
: <math>p(single~token~correct) = exp (-L_{CE}(N)) = exp(-(N/c)^{a})</math>
如下图所示，此时模型能力的衡量指标（<math>p(single~token~correct)</math>随模型规模(模型参数量<math>N</math>)的变化可以画为平缓增长的曲线。
[[文件:LLM-EMERGENCE-mirage-fig2b.png|边框|无框]]
=大语言模型涌现的度量=
=大语言模型涌现的度量=