更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
大语言模型的涌现
(查看源代码)
2025年6月5日 (四) 10:14的版本
添加23字节
、
2025年6月5日 (四) 10:14
→历史溯源
第12行:
第12行:
[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线(规模大于 10B)|替代=|无|603x603px]]
[[文件:Timeline.png|缩略图|近年来现有大型语言模型的时间线(规模大于 10B)|替代=|无|603x603px]]
−
从技术发展史角度看,涌现能力的发现标志着NLP研究范式的根本转变。传统自然语言处理采用任务特定模型,针对每项任务单独设计和训练系统,而现代大型语言模型通过海量数据预训练获得通用能力,再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT
-
3的1750亿参数到PaLM的5400亿参数,再到当前万亿级模型,规模扩大使下游任务表现出伸缩法则和涌现能力
<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力:现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
+
从技术发展史角度看,涌现能力的发现标志着[[自然语言处理]]研究范式的根本转变。传统自然语言处理采用任务特定模型,针对每项任务单独设计和训练系统,而现代大型语言模型通过海量数据预训练获得通用能力,再通过提示工程适应各种下游任务。这种转变的核心驱动力正是模型规模的指数级增长——从GPT
-
3的1750亿参数到PaLM的5400亿参数,再到当前万亿级模型,规模扩大使下游任务表现出[[规模法则]]和涌现能力
<ref name=":JunlinZhang">张俊林, 大语言模型的涌现能力:现象与解释. 2023. 知乎. https://zhuanlan.zhihu.com/p/621438653</ref>。
{| class="wikitable"
{| class="wikitable"
Jake
行政员
、
界面管理员
、
管理员
3,094
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本