历史溯源
YMZ：我直接在上面修改了
大语言模型能力的涌现现象
- 研究者通常在训练模型时使用固定大小的训练集
YMZ：这个出现在文献的哪个段落？
FZY: 这一句原话是“Training dataset size is also an important factor, but we do not plot capabilities against it because many language model families use a fixed number of training examples for all model sizes (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022).”在J Wei, et al. (2023)的第2页. 这里应该是用来解释为什么J Wei, et al. (2023)没有用这个指标的，但是不排除有这样的研究。上次在线会议我记得有举一个例子是用dataset size做规模指标的，这个例子是在哪里？
YMZ：Data scaling. Training long enough on a large-enough dataset has been shown to be key for the ability of language models to acquire syntactic, semantic, and other world knowledge (Zhang et al., 2021; Wei et al., 2021b; Razeghi et al., 2022).也是在Wei 2023那篇文章里。那就先按你目前的说法呈现，这些可能展现了数据规模相关实验的文章后面再看一下。
- 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
FZY:这一句具体说的什么意思
YMZ：看图，似乎两者就是判断题和单选题的区别？记得按词条格式这里引用文献，这样我方便去原文看一下
FZY: 已引用，有空的话请帮我再看一下吧。判断题技术是说使用模型预测某命题T或F的概率来做校准，单选题就是使用模型预测各个选项正确的概率来做校准，这个图的意思是判断题的正确率再模型达到临界规模之后出现了涌现现象，这个意思吗？
YMZ：题目的本身就是真假判断和单选题的区别。在提示里面会同时给出问题和proposed answer，让大模型要么选择T要么选择F。所谓校准（Calibration），应该是看大模型给出答案时的概率分布，它体现的是大模型对自己的答案有多大程度的“自信”或“诚实”。现在正文里描述应该有些问题。这里的图对应引用文献中的Figure 4
影响下游任务能力涌现的因素及争议
YMZ：这一节小标题比较奇怪，我就给去掉了。另外除了mirage那篇文章以外我又补充了一些内容。
大语言模型涌现的度量
YMZ：记得加文献引用
- 这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现
YMZ：读着不通顺
- 其中 token 是句子中具有复杂模式的微观（micro）单元
YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表
YMZ：token建议也翻译成中文，比如“词元”。
YMZ：微观（micro）这种注释应该往前放，或者不放也行。
- 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
YMZ：这个结论是为什么？还是说它是定义？
LJ：这里应该是定义，或者说根据整体的定义应用到具体的模型应该这么做。
YMZ：如果是定义的话应该更加正式地先提出来
YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？
- 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。
YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？
LJ：我再根据定义尝试解释下。
- 因此，宏观层面代表语义层级，微观层面代表 token 层级。
YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？
LJ：这里是根据原论文的直接表述。要理顺逻辑关系，还得再仔细看看，把定义和相关的概念理解清楚。
- 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模
YMZ：所以IE的定义根源于Erik和Rosas等人的工作？那应该在前面就讲清楚。
- IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度
YMZ：什么是语义熵？
YMZ：对于这个定量公式有一个困惑是，如果找到宏观的token，是要计算前后token在多大程度上独立吗（满足马尔可夫性）？
- 研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成
YMZ：所以这里的IE是定义在输出文本上的？在给出这个结论之前，应该先说清楚IE的定义。逻辑顺序是，前文的涌现现象 to 为什么要谈论IE to IE的定义 to 基于IE指标的发现
- 当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义
YMZ：读起来很难懂，可不可以有具体的例子？
大语言模型涌现的机制解释
YMZ：这里我做了些删改，因为有些内容重复了。
YMZ：记得加文献引用和交叉引用
- 这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。
YMZ：注意和前文的联系，这里和前文内容有重复
- 在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。
YMZ：这两句话中前一个“模型”指的是渗流模型，后一个应该指的是LLM，有点跳跃。建议可以先简单介绍渗流模型本身，然后另起一段讲LLM中的渗流相变。