91
个编辑
更改
跳到导航
跳到搜索
第7行：
第7行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→历史溯源
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
涌现能力的识别具有两个关键特征：突变性Sharpness，表现为模型性能在某一规模附近突然提升而非渐进变化；不可预测性Unpredictability，即无法从小规模模型的趋势推断能力出现的时间和强度。这种"相变"式的行为模式与物理学中的临界现象高度相似，当模型参数规模超过特定阈值时，其任务表现会从随机水平突然跃升至显著高于随机的水平。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？https://cloud.tencent.com/developer/news/1044132?from=15431</ref>。
从技术发展史角度看，涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型，针对每项任务单独设计和训练系统；而现代大型语言模型通过海量数据预训练获得通用能力，再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT-3的1750亿参数到PaLM的5400亿参数，再到当前万亿级模型，规模扩大使下游任务表现出伸缩法则和涌现能力<ref>ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？https://cloud.tencent.com/developer/news/1044132?from=15431</ref>。
{| class="wikitable"
|+ 大语言模型的涌现能力
|-
! 模型 !! 发布时间 !! 参数量 !! 关键涌现能力
|-
| GPT-3 || 2020年5月 || 175B || 上下文学习、简单推理
|-
| Gopher || 2021年12月 || 280B || 复杂问答、知识整合
|-
| PaLM || 2022年4月 || 540B || 多步推理、代码生成
|-
| Chinchilla || 2022年7月 || 70B || 高效知识压缩(数据优化)
|-
| GPT-4 || 2023年3月 || 1T+ || 多模态理解、高阶推理
|}
针对大语言模型涌现能力的起源和机制，研究者提出了多种理论解释，形成了三种主流假说：规模效应假说、度量指标假说和任务复杂度假说。这些理论从不同角度阐释了涌现现象，各有其立论基础和证据支持，也反映了当前对AI系统认知的多元视角。
== 规模效应假说 ==
== 度量指标假说 ==
== 任务复杂度假说==
=大语言模型家族分类=
=大语言模型家族分类=