讨论:大语言模型的涌现

大语言模型家族分类

这个章节目前缺少引用文献和交叉引用。在添加交叉引用的时候可以注意一下是否所有细节都需要在这里写出来，还是可以放到别的词条里。

• 而针对涌现能力是否出现，可能了解模型的基本架构和与之相对应的应用场景是首要目标。

YMZ：基本架构与应用场景的分类和涌现的关系具体是什么？

大语言模型能力的涌现现象

• 这是因为大多数密集Transformer语言模型家族的训练计算量大致与模型参数量成比例

YMZ：这个表述可以放在前面大语言模型分类那个章节里了，这才是我们补充那个新章节的目的。现在前面介绍家族分类的细节太多了，应该只保留讨论涌现现象会用到的相关细节。

• 研究者通常在训练模型时使用固定大小的训练集[7][8]

YMZ：这个出现在文献的哪个段落？

• 尽管少量样本提示可能是目前与大型语言模型互动最常见的方式，但几种其他的提示和微调策略能够进一步提高语言模型的能力。【增加对比图，少量样本提示和进阶提示的区别】

YMZ：在“实例”这一节开头就讲它们的区别。另外，进阶提示和增强提示应该是同一概念吧，翻译上要统一。

• 多即不同 (More is Different)

LJ：这个论文比较经典，一般翻译为“多者异也”，供参考。

FZY：感谢提示，已经修改为“多者异也”

• 使用进阶提示策略的任务-程序执行：在8位数相加任务中，使用草稿本仅对训练FLOPs约为910（4000万参数）或更大的模型有帮助

LJ：这里根据图C和原论文数据，应该是 ∼9· 10^19

FZY: 感谢指正，已经改正了

• 关于参数数量的描述，是否使用技术上更常用的 KMB 单位比较好？比如这里是40M。

FZY: 感谢指正，已经将文中参数量单位改为KMB

• 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较

FZY:这一句具体说的什么意思

• 下图是一个少量样本提示的示例。

FZY: 缺少示例图

• 【修改本节文献引用】

• 解决涵盖大量主题的知识型问题所需的规模可能需要超过这个数值

FZY: 此处可对比更新的研究

影响下游任务能力涌现的因素及争议

• 例如，对于在高质量数据上训练的模型，涌现现象可以在较少的训练计算量或较少的模型参数的情况下出现。

YMZ:这一段我搬到这里来了，可以在这一章节里统一叙述涌现背后相关因素的分析。

大语言模型涌现的度量

• 这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现

YMZ：读着不通顺

• 其中 token 是句子中具有复杂模式的微观（micro）单元

YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表

• 因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象

YMZ：为什么它是涌现现象，根据哪个定义判断的？

• 受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。

YMZ：这里的文字不如用公式来表达，而且不适合放在提纲挈领的第一段。

• 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。

YMZ：这个结论是为什么？还是说它是定义？

YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？

• 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。

YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？

• 因此，宏观层面代表语义层级，微观层面代表 token 层级。

YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？

• 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模

YMZ：所以IE的定义根源于Erik和Rosas等人的工作？那应该在前面就讲清楚。

• IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度

YMZ：什么是语义熵？

YMZ：对于这个定量公式有一个困惑是，如果找到宏观的token，是要计算前后token在多大程度上独立吗（满足马尔可夫性）？

• 研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成

YMZ：所以这里的IE是定义在输出文本上的？在给出这个结论之前，应该先说清楚IE的定义。逻辑顺序是，前文的涌现现象 to 为什么要谈论IE to IE的定义 to 基于IE指标的发现

• 当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义

YMZ：读起来很难懂，可不可以有具体的例子？