讨论:大语言模型的涌现

大语言模型能力的涌现现象

• 研究者通常在训练模型时使用固定大小的训练集

YMZ：这个出现在文献的哪个段落？

FZY: 这一句原话是“Training dataset size is also an important factor, but we do not plot capabilities against it because many language model families use a fixed number of training examples for all model sizes (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022).”在J Wei, et al. (2023)的第2页. 这里应该是用来解释为什么J Wei, et al. (2023)没有用这个指标的，但是不排除有这样的研究。上次在线会议我记得有举一个例子是用dataset size做规模指标的，这个例子是在哪里？

YMZ：Data scaling. Training long enough on a large-enough dataset has been shown to be key for the ability of language models to acquire syntactic, semantic, and other world knowledge (Zhang et al., 2021; Wei et al., 2021b; Razeghi et al., 2022).也是在Wei 2023那篇文章里。那就先按你目前的说法呈现，这些可能展现了数据规模相关实验的文章后面再看一下。

• 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较

FZY:这一句具体说的什么意思

YMZ：看图，似乎两者就是判断题和单选题的区别？记得按词条格式这里引用文献，这样我方便去原文看一下

FZY: 已引用，有空的话请帮我再看一下吧。判断题技术是说使用模型预测某命题T或F的概率来做校准，单选题就是使用模型预测各个选项正确的概率来做校准，这个图的意思是判断题的正确率再模型达到临界规模之后出现了涌现现象，这个意思吗？

YMZ：题目的本身就是真假判断和单选题的区别。在提示里面会同时给出问题和proposed answer，让大模型要么选择T要么选择F。所谓校准（Calibration），应该是看大模型给出答案时的概率分布，它体现的是大模型对自己的答案有多大程度的“自信”或“诚实”。现在正文里描述应该有些问题。这里的图对应引用文献中的Figure 4

大语言模型涌现的机制解释

YMZ：这里我做了些删改，因为有些内容重复了。

YMZ：记得加文献引用和交叉引用

• 这一模型被借用来解释神经网络，特别是大语言模型（LLM）中的涌现现象。涌现现象指的是当模型规模（数据、计算资源、参数等）达到某一临界点时，模型会突然展示出之前无法预见的能力 。这种能力的跃升是非线性的，且无法通过对小规模模型的简单外推预测。

YMZ：注意和前文的联系，这里和前文内容有重复

• 在该模型中，节点（如实体、属性等）通过边（如实体与属性的配对）连接在一起。随着训练数据和参数规模的增加，节点之间逐渐形成一个“连通子图”，一旦这个子图的规模突破某个阈值，模型就会展现出新的能力 。

YMZ：这两句话中前一个“模型”指的是渗流模型，后一个应该指的是LLM，有点跳跃。建议可以先简单介绍渗流模型本身，然后另起一段讲LLM中的渗流相变。