842
个编辑
更改
跳到导航
跳到搜索
第102行：
第102行： − + + + + + + +
→基于下游任务的涌现的影响因素及争议
3. 在较大参数范围内采样不足。
3. 在较大参数范围内采样不足。
但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配
但也有学者进一步发现，即使以连续性的度量指标来刻画（比如交叉熵），我们也能看到模型在某些任务上的表现有涌现式的增长<ref name=":quanta">Michaud, E. J., Liu, Z., Girit, U., & Tegmark, M. (n.d.). The Quantization Model of Neural Scaling. <nowiki>https://arxiv.org/abs/2303.13506</nowiki></ref>。这说明涌现现象依然是真实存在的，而不完全是因为指标选取造成的幻觉。而且指标的连续性也不是选取合适指标的黄金标准，我们应该选取对任务适配的指标。比如以计算10+11=21为例，如果用token编辑距离作为评估指标，模型输出22时，距离等于1，输出11时，距离也等于1，但显然22比11更接近正确答案21。这时候再用token编辑距离作为评估指标就不合理了<ref name=":Percolation">Lubana, E. S., Kawaguchi, K., Dick, R. P., & Tanaka, H. (2024). A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language (arXiv:2408.12578). arXiv. <nowiki>https://doi.org/10.48550/arXiv.2408.12578</nowiki></ref>。鉴于此，有学者提出关于涌现现象更为完整的定义<ref name=":Percolation" />：
一项能力C被称为随着某种规模（如数据量、计算资源、参数数量等）的增长而涌现，需满足以下三个条件：
P1: 在需要能力C的任务上，模型表现出现非线性的明显提升；
P2: 有多个任务同时出现这种非线性提升，不是只在某单一任务上发生。
P3: 模型获得了一个数据生成过程的底层结构（即对任务本质的理解或表达），这种结构对学会能力C是关键的，并且能力C的涌现与这个结构学习的进展密切相关。
=大语言模型结构上的涌现 =
=大语言模型结构上的涌现 =