更改

讨论:大语言模型的涌现 (查看源代码)

删除38字节、 2025年4月28日 (一) 15:37

第70行：第70行：

YMZ：token建议也翻译成中文，比如“词元”。

+

YMZ：微观（micro）这种注释应该往前放，或者不放也行。

* 要计算 Transformer 模型中的信息涌现，需要从数学上度量微观与宏观层面的熵减。

第86行：第88行：

LJ：我再根据定义尝试解释下。

−

~~YMZ：按照这个分法，有没有输出token是受一部分输入token影响的？这算是介观变量吗？~~

* 因此，宏观层面代表语义层级，微观层面代表 token 层级。

842

个编辑