更改

删除24字节 、 2025年3月7日 (五) 14:14
无编辑摘要
第40行: 第40行:  
注:2 尽管 GPT-3 普及了提示,但提示从 GPT-3 之前就已经存在 (Trinh & Le,2018; McCann 等,2018; Radford 等,2019; Raffel 等,2020)。
 
注:2 尽管 GPT-3 普及了提示,但提示从 GPT-3 之前就已经存在 (Trinh & Le,2018; McCann 等,2018; Radford 等,2019; Raffel 等,2020)。
   −
[[文件:Fewshot.png|800px|thumb|left|少量样本提示中8个涌现现象的例子,引自<ref name=":0" />]]
+
[[文件:Fewshot.png|800px|thumb|center|少量样本提示中8个涌现现象的例子,引自<ref name=":0" />]]<br>
−
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
        第73行: 第54行:  
'''模型校准''' 最后,语言模型部署研究的一个重要方向是校准,它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人(2022年)比较了两种衡量校准的方法:一种是真/假技术,模型首先提出答案,然后评估它们的答案正确的概率“p (True)”,以及更标准的校准方法,即使用正确答案的概率与其他答案选项进行比较。如图3D所示,真/假技术的优势仅在大约3×10²³训练FLOPs(520亿参数)的最大模型规模时才显现出来。
 
'''模型校准''' 最后,语言模型部署研究的一个重要方向是校准,它衡量模型是否能够预测出它们能够正确回答的问题。Kadavath等人(2022年)比较了两种衡量校准的方法:一种是真/假技术,模型首先提出答案,然后评估它们的答案正确的概率“p (True)”,以及更标准的校准方法,即使用正确答案的概率与其他答案选项进行比较。如图3D所示,真/假技术的优势仅在大约3×10²³训练FLOPs(520亿参数)的最大模型规模时才显现出来。
   −
[[文件:Specialized_prompting_or_finetuning.png|800px|thumb|left|特殊的提示或微调中出现涌现现象的例子,引自<ref name=":0" />]]
+
[[文件:Specialized_prompting_or_finetuning.png|800px|center|特殊的提示或微调中出现涌现现象的例子,引自<ref name=":0" />]]<br>
−
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
  −
 
       
336

个编辑