786
个编辑
更改
跳到导航
跳到搜索
第281行：
第281行： − + − '''如果模型训练良好，宏观动力学的互信息不会发生变化''' 第289行：
第288行： − + − '''信道越窄互信息越小'''
→互信息随尺度的变化
由信息瓶颈理论与互信息理论，论文<ref name="1s" />可以推出如下推论：
由信息瓶颈理论与互信息理论，论文<ref name="1s" />可以推出如下推论：
===如果模型训练良好，宏观动力学的互信息不会发生变化===
对于训练充分的NIS模型，宏观动力学<math>f_\beta</math>的互信息将与所有参数（包括刻度<math>q</math>）无关。
对于训练充分的NIS模型，宏观动力学<math>f_\beta</math>的互信息将与所有参数（包括刻度<math>q</math>）无关。
由此可得，<math>q</math>是因果涌现的无关参数。但根据EI的定义，较小的<math>q</math>意味着编码器将携带更多有效信息。
由此可得，<math>q</math>是因果涌现的无关参数。但根据EI的定义，较小的<math>q</math>意味着编码器将携带更多有效信息。
===信道越窄互信息越小===
若<math>\mathbf{x}_t</math>是<math>p</math>维的，那么对于 <math>0 < q_1 < q_2 < p</math> 有
若<math>\mathbf{x}_t</math>是<math>p</math>维的，那么对于 <math>0 < q_1 < q_2 < p</math> 有