91
个编辑
更改
→历史溯源
在计算机科学领域中，人们也有对模型的学习过程发现和总结出非线性增长的现象。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越<ref name=":5" />。
在计算机科学领域中，人们也有对模型的学习过程发现和总结出非线性增长的现象。历史上，算力的提升总是能够促进算法的进步和主流范式的革新。数据量的累积也能促使模型发挥潜能，例如，深度学习模型在拥有大量数据和计算资源的情况下表现良好，但在较小规模下表现不佳，在没有太多资源的情况下，甚至会被更简单的算法超越<ref name=":5" />。
涌现Emergence作为复杂系统科学的核心概念，最早由诺贝尔物理学奖得主P.W. Anderson在1972年的经典论文《More is Different》中系统阐述，指的是"系统中量的变化导致行为上质的变化"<ref>P. W. Anderson,More Is Different.Science, 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref>。这一概念后被引入人工智能领域，特指大型语言模型在达到特定规模阈值时突然展现出小规模模型所不具备的新能力。涌现能力最早由Wei等学者2022年在《Emergent Abilities of Large Language Models》中系统性地提出，并定义为：
'''“能力在小规模模型中不可见，但在大规模模型中突然出现，且无法通过小规模模型的性能外推预测。”'''
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力。
= 大语言模型家族分类 =
= 大语言模型家族分类 =