842
个编辑
更改
跳到导航
跳到搜索
第70行：
第70行： + + 第86行：
第88行： − − YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？
→大语言模型涌现的度量
YMZ：token建议也翻译成中文，比如“词元”。
YMZ：token建议也翻译成中文，比如“词元”。
YMZ：微观（micro）这种注释应该往前放，或者不放也行。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。
LJ：我再根据定义尝试解释下。
LJ：我再根据定义尝试解释下。
* 因此，宏观层面代表语义层级，微观层面代表 token 层级。
* 因此，宏观层面代表语义层级，微观层面代表 token 层级。