336
个编辑
更改
跳到导航
跳到搜索
第8行：
第8行： + 第13行：
第14行： − + + + 第22行：
第25行： + + 第29行：
第34行： + + 第44行：
第51行： + +
→大语言模型能力的涌现现象
YMZ：原本这里对涌现的介绍和之前写的涌现定性的定义重复了，我就把之前写的内容覆盖在了这里，你可以看看有没有什么问题。
YMZ：原本这里对涌现的介绍和之前写的涌现定性的定义重复了，我就把之前写的内容覆盖在了这里，你可以看看有没有什么问题。
=大语言模型能力的涌现现象=
=大语言模型能力的涌现现象=
YMZ：这里我把之前涌现的定性定义放在了历史溯源里，这样涌现现象下面就按照prompt的不同分成两类。
YMZ：这里我把之前涌现的定性定义放在了历史溯源里，这样涌现现象下面就按照prompt的不同分成两类。
* 研究者通常在训练模型时使用固定大小的训练集[7][8]
* 研究者通常在训练模型时使用固定大小的训练集
YMZ：这个出现在文献的哪个段落？
YMZ：这个出现在文献的哪个段落？
FZY: 这一句原话是“Training dataset size is also an important factor, but we do not plot capabilities against it because many language model families use a fixed number of training examples for all model sizes (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022).”在J Wei, et al. (2023)的第2页. 这里应该是用来解释为什么J Wei, et al. (2023)没有用这个指标的，但是不排除有这样的研究。上次在线会议我记得有举一个例子是用dataset size做规模指标的，这个例子是在哪里？
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
YMZ：看图，似乎两者就是判断题和单选题的区别？记得按词条格式这里引用文献，这样我方便去原文看一下
YMZ：看图，似乎两者就是判断题和单选题的区别？记得按词条格式这里引用文献，这样我方便去原文看一下
FZY: 已引用，有空的话请帮我再看一下吧。判断题技术是说使用模型预测某命题T或F的概率来做校准，单选题就是使用模型预测各个选项正确的概率来做校准，这个图的意思是判断题的正确率再模型达到临界规模之后出现了涌现现象，这个意思吗？
YMZ：嗯，这张图可以稍微简单一点，不是特别重要
YMZ：嗯，这张图可以稍微简单一点，不是特别重要
FZY: 已插入，在词条“前者是一个到数个输入信息和输出结果的示例（如下图所示）”之后
YMZ：目前该表格缺乏文字上的解释。
YMZ：目前该表格缺乏文字上的解释。
FZY:已在表格前最后一段加入文字解释。
=影响下游任务能力涌现的因素及争议=
=影响下游任务能力涌现的因素及争议=