更改

==涌现的定性定义==

==涌现的定性定义==

[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)“<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>.  ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20,  2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

[[涌现]]这个概念在物理学、生物学和计算机科学等领域已经得到长期讨论。诺贝尔物理奖获得者Philip Anderson的一篇名为 “多者异也 (More is Different)”<ref>P. W. Anderson,More Is Different.''Science,'' 177(4047): 393-396, 1972. DOI:10.1126/science.177.4047.393</ref><ref name=":5">Jacob Steinhardt. Future ml systems will be qualitatively different, 2022. URL <nowiki>https://bounded-regret</nowiki>.  ghost.io/future-ml-systems-will-be-qualitatively-different/. Accessed May 20,  2022.</ref>的文章中提出：涌现是指系统中定量的变化所导致的行为上定性的变化。 Jason Wei等人<ref name=":0" />沿用了Anderson对于涌现定性的定义，首次在大语言模型领域提出判断模型能力是否发生涌现的定性标准：某种能力在小规模模型中不存在，但当模型增长到一定规模时（定量的变化），这项能力才突然出现（定性的变化）。也就是说，涌现是一种整体行为上的剧烈变化，不能通过研究小规模模型进行直接预测<ref>Bernardo A. Huberman and Tad Hogg. Phase transitions in artificial intelligence systems. Artificial  Intelligence, 33(2):155–171, 1987. URL <nowiki>https://www.sciencedirect.com/science/article/</nowiki> abs/pii/0004370287900336.</ref>。

 

 

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，所以因此较难见到模型能力随训练数据集大小而变化的报告。

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，所以因此较难见到模型能力随训练数据集大小而变化的报告。

==大语言模型能力涌现的实例==

==大语言模型能力涌现的实例==

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为少量样本提示(Few-Shot Prompting)和增强提示(Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例；后者是更复杂的提示，比如思维链(Chain-of-Thought, CoT)提示、不包括示例的任务描述、草稿本(Scratchpad)技术等，更复杂的提示能够进一步提高语言模型的能力。

'''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10²³ FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10²⁴ FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

'''语境中的词语'''（Word in Context, WiC). 图H展示了一个语义理解基准测试：语境中的词语基准测试（Pilehvar & Camacho-Collados，2019）。值得注意的是，即使模型规模扩大到最大（约5×10²³ FLOPs），GPT-3和Chinchilla也无法获得优于随机水平的正确率。而PaLM扩大到2.5×10²⁴ FLOPs（540B参数）时，最终出现了超越随机的能力。这些结果可能表明，WiC问题的解决还受模型本身特性或其他因素的影响，可能无法仅靠扩大规模来达到。

[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]<br>

[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子，引自<ref name=":0" />]]

=== 使用增强提示策略的任务 ===

=== 使用增强提示策略的任务 ===

'''模型校准.''' 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（52B参数）的最大模型规模时才显现出来。

'''模型校准.''' 模型校准能够衡量模型预测其回答正确率的能力。Kadavath等人（2022年）比较了两种衡量校准的方法：一种是真/假技术，模型首先回答问题，然后评估自身答案为正确的概率“p (True)”；另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较。如图D所示，真/假技术的优势仅在大约3×10²³训练FLOPs（52B参数）的最大模型规模时才显现出来。

[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]<br>

[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子，引自<ref name=":0" />]]

=基于下游任务的涌现的影响因素及争议=

=基于下游任务的涌现的影响因素及争议=