28
个编辑
更改
→大语言模型涌现的度量
YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表
YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表
* 因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象
* 因此，大语言模型的语义理解能力，可以看作是从微观到宏观的一种涌现现象
YMZ：为什么它是涌现现象，根据哪个定义判断的？
YMZ：为什么它是涌现现象，根据哪个定义判断的？
LJ：这句话删掉了，之前是为了过渡加上的。
* 受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。
* 受信息论启发，论文中将“语义”（semantics）形式化定义为从token序列中抽象出的有意义信息，并通过比较（宏观层面）token 序列相对于（微观层面）单个token的熵减来对此进行量化。
YMZ：这里的文字不如用公式来表达，而且不适合放在提纲挈领的第一段。
YMZ：这里的文字不如用公式来表达，而且不适合放在提纲挈领的第一段。
LJ：挪到了后面，定义部分我再修改下。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
YMZ：这个结论是为什么？还是说它是定义？
YMZ：这个结论是为什么？还是说它是定义？
LJ：这里应该是定义，或者说根据整体的定义应用到具体的模型应该这么做。
YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？
YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？
* 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。
* 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。
YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？
LJ：我再根据定义尝试解释下。
YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？
YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？
YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？
YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？
LJ：这里是根据原论文的直接表述。要理顺逻辑关系，还得再仔细看看，把定义和相关的概念理解清楚。
* 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模
* 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模