91
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： + + − 规模效应假说(Scaling Hypothesis)认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。+ 第43行：
第45行： + +
→历史溯源
针对大语言模型涌现能力的起源和机制，研究者提出了多种理论解释，形成了三种主流假说：规模效应假说、度量指标假说和任务复杂度假说。这些理论从不同角度阐释了涌现现象，各有其立论基础和证据支持，也反映了当前对AI系统认知的多元视角。
针对大语言模型涌现能力的起源和机制，研究者提出了多种理论解释，形成了三种主流假说：规模效应假说、度量指标假说和任务复杂度假说。这些理论从不同角度阐释了涌现现象，各有其立论基础和证据支持，也反映了当前对AI系统认知的多元视角。
三种理论解释并非互斥，而是从不同层面揭示了涌现现象的多维本质。规模效应假说强调模型内在容量的决定性作用；度量指标假说揭示评估方法对现象观测的影响；任务复杂度假说则关注问题本身的结构特性。一个整合性观点认为，真正的涌现能力可能是三者共同作用的结果——模型需要足够规模来形成复杂内部表示，任务需要足够复杂度以区分能力层级，而科学的评估方法才能准确揭示这一过程。
== 规模效应假说 ==
== 规模效应假说 ==
规模效应假说认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。
Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。
Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。
任务复杂度假说从问题结构角度解释涌现，认为某些任务需要模型具备最低限度的计算复杂度或知识整合能力才能解决。这一观点得到多步骤任务表现的强力支持——思维链能力通常在模型能够同时保持多条规则或事实时才突然出现。
任务复杂度假说从问题结构角度解释涌现，认为某些任务需要模型具备最低限度的计算复杂度或知识整合能力才能解决。这一观点得到多步骤任务表现的强力支持——思维链能力通常在模型能够同时保持多条规则或事实时才突然出现。
复杂性阈值与数据分布密切相关。张俊林指出，涌现能力主要出现在多步骤复杂任务上，而知识密集型任务通常遵循平滑的缩放定律。模型可能需要足够容量来构建中间表示，才能分解和解决复杂问题。当模型规模不足时，其内部"工作记忆"可能无法支持多步推理所需的临时信息存储和操作<ref>张俊林, 大语言模型的涌现能力：现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
=大语言模型家族分类=
=大语言模型家族分类=