842
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： − + − 涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。Steinhardt (2022) <ref>Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>（植根于诺贝尔奖获得者Philip Anderson一篇名为 “多即不同 (More is Different)<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref>” 的文章）认为：涌现是指系统中量的变化所导致的行为上质的变化。 + 第55行：
第55行： −
→大语言模型的涌现现象
自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) <ref>Scott Miller, Jethran Guinness, and Alex Zamanian. Name tagging with word clusters and discriminative training. In NAACL, 2004. URL <nowiki>https://aclanthology.org/N04-1043</nowiki>.</ref>，Liang (2005)<ref>Percy Liang. Semi-supervised learning for natural language. PhD thesis, Massachusetts Institute of Technology, 2005. URL <nowiki>https://www-cs.stanford.edu/~pliang/papers/meng-thesis.pdf</nowiki>.</ref> 或更早的时候。
自然语言处理中更广泛的涌现能力可以追溯到 Miller 等人 (2004) <ref>Scott Miller, Jethran Guinness, and Alex Zamanian. Name tagging with word clusters and discriminative training. In NAACL, 2004. URL <nowiki>https://aclanthology.org/N04-1043</nowiki>.</ref>，Liang (2005)<ref>Percy Liang. Semi-supervised learning for natural language. PhD thesis, Massachusetts Institute of Technology, 2005. URL <nowiki>https://www-cs.stanford.edu/~pliang/papers/meng-thesis.pdf</nowiki>.</ref> 或更早的时候。
=大语言模型的涌现现象=
=大语言模型能力的涌现现象=
==涌现的定性定义==
==涌现的定性定义==
涌现这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多即不同 (More is Different)“<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref>Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>. ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20, 2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br>
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br>
=影响下游任务能力涌现的因素及争议=
=影响下游任务能力涌现的因素及争议=