讨论:大语言模型的涌现

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索

大语言模型家族分类

这个章节目前缺少引用文献和交叉引用。在添加交叉引用的时候可以注意一下是否所有细节都需要在这里写出来,还是可以放到别的词条里。

  • 而针对涌现能力是否出现,可能了解模型的基本架构和与之相对应的应用场景是首要目标。

YMZ:基本架构与应用场景的分类和涌现的关系具体是什么?

大语言模型能力的涌现现象

  • 这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例

YMZ:这个表述可以放在前面大语言模型分类那个章节里了,这才是我们补充那个新章节的目的。现在前面介绍家族分类的细节太多了,应该只保留讨论涌现现象会用到的相关细节。

  • 研究者通常在训练模型时使用固定大小的训练集[7][8]

YMZ:这个出现在文献的哪个段落?