842
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： + + 第47行：
第49行： + + 第65行：
第69行： − + − * 因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象 − − YMZ：为什么它是涌现现象，根据哪个定义判断的？ − − LJ：这句话删掉了，之前是为了过渡加上的。 − − − − − * 受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。 − − YMZ：这里的文字不如用公式来表达，而且不适合放在提纲挈领的第一段。 − − LJ：挪到了后面，定义部分我再修改下。 第86行：
第76行： + +
无编辑摘要
FZY：通过这一次的梳理，我发现“使用少量样本提示的任务”和“使用增强提示策略的任务”两节好像模糊了提示策略的区别以及任务的区别。“使用少量样本提示的任务”一节都是少量样本提示，但是用了很多种不同的任务来论证和作图。而“使用增强提示策略的任务”使用了不同类型的增强提示策略，并举了相应的一些例子。写作上的不对称可能是提示策略对模型能力提升的影响还不清楚一种表现。可以参照其他文献进行梳理和论证。
FZY：通过这一次的梳理，我发现“使用少量样本提示的任务”和“使用增强提示策略的任务”两节好像模糊了提示策略的区别以及任务的区别。“使用少量样本提示的任务”一节都是少量样本提示，但是用了很多种不同的任务来论证和作图。而“使用增强提示策略的任务”使用了不同类型的增强提示策略，并举了相应的一些例子。写作上的不对称可能是提示策略对模型能力提升的影响还不清楚一种表现。可以参照其他文献进行梳理和论证。
YMZ：可能是也这样，也可能是作者在写作上重点选择不同。
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
* 另一种更标准的校准方法，是使用答案正确的概率与其他答案选项进行比较
修改本节文献引用
修改本节文献引用
YMZ：这一节还差一个表格
=影响下游任务能力涌现的因素及争议=
=影响下游任务能力涌现的因素及争议=
YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表
YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表
YMZ：token建议也翻译成中文，比如“词元”。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
LJ：这里应该是定义，或者说根据整体的定义应用到具体的模型应该这么做。
LJ：这里应该是定义，或者说根据整体的定义应用到具体的模型应该这么做。
YMZ：如果是定义的话应该更加正式地先提出来
YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？
YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？