842
个编辑
更改
跳到导航
跳到搜索
第26行：
第26行： − − =大语言模型涌现的度量= − YMZ：记得加文献引用 − − * 这里语义可以看作是从按照特定意义组织的 token 集合中自然涌现 − − YMZ：读着不通顺 − − * 其中 token 是句子中具有复杂模式的微观（micro）单元 − − YMZ：这个对于不理解token这个概念的人来说还是不理解。token这个基本概念的解释可以先不放，后面根据需求统一给术语表 − − YMZ：token建议也翻译成中文，比如“词元”。 − − YMZ：微观（micro）这种注释应该往前放，或者不放也行。 − − * 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。 − − YMZ：这个结论是为什么？还是说它是定义？ − − LJ：这里应该是定义，或者说根据整体的定义应用到具体的模型应该这么做。 − − YMZ：如果是定义的话应该更加正式地先提出来 − − YMZ：这一段里h是单个的token吗？以及输入输出长度都是T吗？ − − * 研究者将序列中的 token 变量分为两类：微观变量和宏观变量。 − − YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？ − − LJ：我再根据定义尝试解释下。 − − * 因此，宏观层面代表语义层级，微观层面代表 token 层级。 − − YMZ：这个“因此”的逻辑是什么，宏微观变量不是人为指定的吗？ − − LJ：这里是根据原论文的直接表述。要理顺逻辑关系，还得再仔细看看，把定义和相关的概念理解清楚。 − − * 基于 Erik Hoel 等人的因果涌现理论[11][12]和 Rosas 等人基于信息分解量化涌现的理论[13]，研究中将其视为一个熵减过程，采用互信息对信息涌现进行建模 − − YMZ：所以IE的定义根源于Erik和Rosas等人的工作？那应该在前面就讲清楚。 − − * IE 可以简要理解为，语言模型基于先前token，以更低语义熵确定性预测下一个token的置信程度 − − YMZ：什么是语义熵？ − − YMZ：对于这个定量公式有一个困惑是，如果找到宏观的token，是要计算前后token在多大程度上独立吗（满足马尔可夫性）？ − − * 研究还发现，LLM生成的文本与人类文本具有出不同的IE值，因此IE可用于区分文本是来源于人类还是 LLMs 生成 − − YMZ：所以这里的IE是定义在输出文本上的？在给出这个结论之前，应该先说清楚IE的定义。逻辑顺序是，前文的涌现现象 to 为什么要谈论IE to IE的定义 to 基于IE指标的发现 − − * 当第l个Transformer模块在整个序列（宏观变量）上带来的不确定性（熵）减少量大于其在单个token（微观变量）上的减少量时，更有可能捕获集体语义 − − YMZ：读起来很难懂，可不可以有具体的例子？
→大语言模型涌现的度量
YMZ：这一节小标题比较奇怪，我就给去掉了。另外除了mirage那篇文章以外我又补充了一些内容。
YMZ：这一节小标题比较奇怪，我就给去掉了。另外除了mirage那篇文章以外我又补充了一些内容。
=大语言模型涌现的机制解释=
=大语言模型涌现的机制解释=