文件:涌现作为学习的相态(Emergence as phases of learning).png

涌现现象作为学习过程中的不同相态，类比于物质的固态、液态和气态的相变。上半部分展示了三种不同的物理相态：固态、液态和气态，并通过温度变化呈现密度和键取向的变化。下半部分将这一概念类比为大语言模型学习过程中的不同阶段：初始化阶段、能力1的学习阶段、以及能力2的学习阶段。图中的数据和模型规模轴展示了从模型初始化到不同能力涌现的过程。涌现现象随着模型规模的增长，在特定的临界点表现为模型能力的非线性跃升，类似于物理相变的过程。