更改

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。

模型规模的改变主要体现在训练计算量，模型参数量和训练数据集的大小<ref name=":1">Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint  arXiv:2001.08361, 2020. URL <nowiki>https://arxiv.org/abs/2001.08361</nowiki></ref><ref name=":2">Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. NeurIPS, 2022. URL <nowiki>https://arxiv.org/abs/2203.15556</nowiki>.</ref>这三个因素上。研究者通常会分析模型的能力随训练计算量或模型参数量的增加而变化的曲线，而不会绘制针对训练集大小的曲线。通常，每个模型的训练计算量是以 FLOPs (Floating Point Operations, 浮点运算数) 来衡量的<ref name=":2" />。模型能力关于参数量与模型能力关于 FLOPs 有形状相似的曲线，这是因为大多数密集Transformer语言模型家族（即采用[[全连接自注意力机制]]的模型）的训练计算量大致与模型参数量成比例<ref name=":1" />。研究者通常在训练模型时使用固定大小的训练集<ref name=":3">Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. NeurIPS, 2020. URL https://papers.nips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html</ref><ref name=":4">Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021. URL <nowiki>https://arxiv.org/abs/</nowiki> 2112.11446.</ref>，因此较难见到模型能力随训练数据集大小而变化的报告。下表<ref name=":0" />列出了一些大语言模型的涌现能力及其出现的规模（以训练所需的浮点运算次数和模型参数数量衡量）。

[[文件:Wei2023Table1.png|替代=|无|缩略图|633x633像素|各种涌现能力出现的模型规模]]

[[文件:Wei2023Table1.png|替代=|无|缩略图|633x633像素|各种涌现能力出现的模型规模]]

 

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。

为了使生成式 AI 模型产生最佳输出，可以采用提示(Prompt)来构建或设计指令。在输入和输出文本的任务中，提示是向AI模型解释其任务的自然语言文本，包含请求、指令、示例，以及任务的背景信息、完成任务的步骤等。按照提示内容的差异，可以将提示简单划分为[[少量样本提示]](Few-Shot Prompting)和[[增强提示]](Augmented Prompting)。前者是一个到数个输入信息和输出结果的示例（如下图所示）；后者是更复杂的提示，比如[[思维链提示]]、不包括示例的任务描述、草稿本(Scratchpad)技术（模型在解决问题时需要分解并思考中间步骤，但这些思考不必呈现给用户）等，更复杂的提示能够进一步提高语言模型的能力。

 

==使用少量样本提示的任务==

==使用少量样本提示的任务==