更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络中的顿悟
(查看源代码)
2025年12月27日 (六) 11:56的版本
添加11字节
、
2025年12月27日 (六) 11:56
→神经网络中的涌现(Emergent Abilities)
第24行:
第24行:
=== 神经网络中的涌现(Emergent Abilities) ===
=== 神经网络中的涌现(Emergent Abilities) ===
−
顿悟是一种特殊的[[涌现]]现象,表现为泛化能力的突然跃升,
可以被视为一种时间维度上的涌现。在大语言模型(LLM)发展时代,神经网络中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异,将其定义为小型模型不具备、但突然出现在大型模型中的能力特征
<ref>
{{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>
。而顿悟则是随着训练时间(步数)的增加,模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后,性能发生质变的非线性特征。
+
顿悟是一种特殊的[[涌现]]现象,表现为泛化能力的突然跃升,
可以被视为一种时间维度上的涌现。在[[大语言模型(LLM)]]发展时代,[[神经网络]]中涌现的概念已经引发了广泛关注。已有研究者系统研究了不同模型的能力差异,将其定义为小型模型不具备、但突然出现在大型模型中的能力特征
<ref> {{cite journal|author1=Wei J|author2=Tay Y|author3=Bommasani R|author4=Raffel C|author5=Zoph B|author6=Borgeaud S|author7=Yogatama D|author8=Bosma M|author9=Zhou D|author10=Metzler D|author11=Chi E. H.|author12=Hashimoto T|author13=Vinyals O|author14=Liang P|author15=Dean J|author16=Fedus W.|title=Emergent abilities of large language models|journal=Transactions on Machine Learning Research|year=2022|issn=2835-8856|url=https://openreview.net/forum?id=yzkSU5zdwD}}</ref>
。而顿悟则是随着训练时间(步数)的增加,模型能力发生的突变。两者都展示了深度神经网络在跨过某个临界阈值后,性能发生质变的[[非线性]]特征。
=== 早停机制(Early Stop) ===
=== 早停机制(Early Stop) ===
王志鹏
142
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本