更改

规模效应假说认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。

规模效应假说认为，涌现能力是模型参数量变引发质变的自然结果。复杂系统在参数变化时可能经历行为上的剧烈转变，这种变化通过研究小规模系统无法预见。当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。

规模效应的理论依据可追溯至相变理论，复杂系统在参数变化时可能经历行为上的剧烈转变。类似地，当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。Kaplan等人提出语言模型的交叉熵损失随计算量、数据量和模型大小平滑变化，但下游任务的指标可能表现出非线性跃迁<ref name=":1"/>。Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref>Michaud, E., Liu, Z., Girit, U., & Tegmark, M. (2023). The quantization model of neural scaling. Advances in Neural Information Processing Systems, 36, 28699-28722.</ref>。

规模效应的理论依据可追溯至相变理论，复杂系统在参数变化时可能经历行为上的剧烈转变。类似地，当语言模型规模扩大时，其内部表示空间可能重组为更高效的结构，从而突然获得解决新问题的能力。Kaplan等人提出语言模型的交叉熵损失随计算量、数据量和模型大小平滑变化，但下游任务的指标可能表现出非线性跃迁<ref name=":1"/>。Michaud 等人提出模型学习行为的核心是“量子”（quanta）。模型的能力可以被分解为一组离散的、可枚举的、独立的子技能或知识单元，每一个量子对应一个基本的模型功能或技能。这些技能的学习频率遵循幂律分布，因此神经网络既表现出平滑的平均性能提升，又可能在某些任务上突然涌现新能力，涌现现象是量子被模型在特定规模下学会的结果<ref name=":quanta"/>。

==== 度量指标假说 ====

==== 度量指标假说 ====