842
个编辑
更改
跳到导航
跳到搜索
第107行：
第107行： + + + +
→基于下游任务的涌现的影响因素及争议
P1: 在需要能力C的任务上，模型表现出现非线性的明显提升；
P1: 在需要能力C的任务上，模型表现出现非线性的明显提升；
P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。
P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。
P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。
P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。
在这篇文章<ref name=":Percolation" />当中，作者其实已经意识到，模型展现的涌现现象和它底层的某些结构是相关的。而在这种结构的层次上做度量，比单纯地刻画下游任务上的表现对于研究大语言模型的涌现来说更为关键。
=大语言模型结构上的涌现 =
=大语言模型结构上的涌现 =