786
个编辑
更改
→互信息随尺度的变化
==互信息随尺度的变化==
==互信息随尺度的变化==
由信息瓶颈理论与互信息理论，论文<ref name="1" />可以推出如下推论：
对于训练充分的NIS模型，宏观动力学<math>f_\beta</math>的互信息将与所有参数（包括刻度<math>q</math>）无关。
对于训练充分的NIS模型，宏观动力学<math>f_\beta</math>的互信息将与所有参数（包括刻度<math>q</math>）无关。
如果神经网络训练充分，则有关宏观动力学的互信息将接近数据<math>\{\mathbf{x}_t\}</math>中的信息。因此，无论<math>q</math>有多小（或尺度有多大），宏观动力学<math>f_\beta</math>的互信息都会保持恒定。
如果神经网络训练充分，则有关宏观动力学的互信息将接近数据<math>\{\mathbf{x}_t\}</math>中的互信息。因此，无论<math>q</math>有多小（或尺度有多大），宏观动力学<math>f_\beta</math>的互信息都会保持恒定。
由此可得，<math>q</math>是因果涌现的无关参数。但根据dEI的定义，较小的<math>q</math>意味着编码器将携带更多有效信息。
由此可得，<math>q</math>是因果涌现的无关参数。但根据EI的定义，较小的<math>q</math>意味着编码器将携带更多有效信息。