842
个编辑
更改
跳到导航
跳到搜索
第19行：
第19行： + +
→大语言模型能力的涌现现象
FZY: 这一句原话是“Training dataset size is also an important factor, but we do not plot capabilities against it because many language model families use a fixed number of training examples for all model sizes (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022).”在J Wei, et al. (2023)的第2页. 这里应该是用来解释为什么J Wei, et al. (2023)没有用这个指标的，但是不排除有这样的研究。上次在线会议我记得有举一个例子是用dataset size做规模指标的，这个例子是在哪里？
FZY: 这一句原话是“Training dataset size is also an important factor, but we do not plot capabilities against it because many language model families use a fixed number of training examples for all model sizes (Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022).”在J Wei, et al. (2023)的第2页. 这里应该是用来解释为什么J Wei, et al. (2023)没有用这个指标的，但是不排除有这样的研究。上次在线会议我记得有举一个例子是用dataset size做规模指标的，这个例子是在哪里？
YMZ：Data scaling. Training long enough on a large-enough dataset has been shown to be key for the ability of language models to acquire syntactic, semantic, and other world knowledge (Zhang et al., 2021; Wei et al., 2021b; Razeghi et al., 2022).也是在Wei 2023那篇文章里。那就先按你目前的说法呈现，这些可能展现了数据规模相关实验的文章后面再看一下。
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较