更改

讨论:大语言模型的涌现 (查看源代码)

2025年5月1日 (四) 13:18的版本

删除1,588字节、 2025年5月1日 (四) 13:18

→‎大语言模型能力的涌现现象

第9行：第9行：

=大语言模型能力的涌现现象=

−

* 这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例

+

YMZ：那个表格要放到大语言模型涌现的实例那个章节里。

−

YMZ：这个表述可以放在前面大语言模型分类那个章节里了，这才是我们补充那个新章节的目的。现在前面介绍家族分类的细节太多了，应该只保留讨论涌现现象会用到的相关细节。

−

~~FZY: 已删除新章节，并在这里用括号增加了简单的密集Transformer语言模型家族的核心机制~~

* 研究者通常在训练模型时使用固定大小的训练集[7][8]

YMZ：这个出现在文献的哪个段落？

−

* 尽管少量样本提示可能是目前与大型语言模型互动最常见的方式，但几种其他的提示和微调策略能够进一步提高语言模型的能力。【增加对比图，少量样本提示和进阶提示的区别】

−

~~YMZ：在“实例”这一节开头就讲它们的区别。另外，进阶提示和增强提示应该是同一概念吧，翻译上要统一。~~

−

FZY: 谢谢提示！已将区别的文字描述放在“实例”这一节开头，暂时不打算再绘制对比图了。因为增强含义更类似于描述技术进步，而进阶则更类似于描述人的技能提升，所以已将augmented全部翻译为“增强”。

−

FZY：通过这一次的梳理，我发现“使用少量样本提示的任务”和“使用增强提示策略的任务”两节好像模糊了提示策略的区别以及任务的区别。“使用少量样本提示的任务”一节都是少量样本提示，但是用了很多种不同的任务来论证和作图。而“使用增强提示策略的任务”使用了不同类型的增强提示策略，并举了相应的一些例子。写作上的不对称可能是提示策略对模型能力提升的影响还不清楚一种表现。可以参照其他文献进行梳理和论证。

−

~~YMZ：可能是也这样，也可能是作者在写作上重点选择不同。~~

* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较

第48行：第34行：

修改本节文献引用

+

YMZ：文中的引用格式记得修改

YMZ：这一节还差一个表格

FZY：已添加J Wei 2022 Table 1

+

YMZ：如前所述，表格放到涌现实例的章节里，并且要配上文字的解释

=影响下游任务能力涌现的因素及争议=

Matthew

管理员

842

个编辑