更改

'''信息压缩的信息瓶颈'''

'''信息压缩的信息瓶颈'''

对于图 3 所示的压缩信道以及任意双射源<math>\psi</math>、投影器 <math>\chi_q</math>、宏观动力学 <math>f</math> 和随机噪声 <math>\mathbf{z}_{p-q} \sim \mathcal{N}(0,\mathcal{I}_{p-q})</math>，有：{{NumBlk|:|<blockquote><math>I(\mathbf{y}_t; \mathbf{y}(t+1) )= I(\mathbf{x}_t, \hat{\mathbf{x}}_{t+1}),</math></blockquote>|{{EquationRef|21}}}}

对于图 3 所示的压缩信道以及任意可逆函数<math>\psi</math>、投影函数 <math>\chi_q</math>、宏观动力学 <math>f</math> 和随机噪声 <math>\mathbf{z}_{p-q} \sim \mathcal{N}(0,\mathcal{I}_{p-q})</math>，有：{{NumBlk|:|<blockquote><math>I(\mathbf{y}_t; \mathbf{y}(t+1) )= I(\mathbf{x}_t, \hat{\mathbf{x}}_{t+1}),</math></blockquote>|{{EquationRef|21}}}}

其中<math>\hat{\mathbf{x}}_{t+1}</math> 是NIS的预测值，<math>\mathbf{y}(t+1)</math>符合式{{EquationNote|2}}。

其中<math>\hat{\mathbf{x}}_{t+1}</math> 是NIS的预测值，<math>\mathbf{y}(t+1)</math>符合式{{EquationNote|2}}。

对于任何实现图 3 中一般框架的神经网络，宏观动力学 <math>f_{\phi_q}</math> 的互信息与整个动力学模型相同，即对于任意时间从 <math>(\mathbf{x}_t)</math> 到 <math>(\hat{\mathbf{x}}_{t+1})</math> 的映射。此定理是 NIS 的基础。实际上，宏观动力学 <math>f</math> 是整个通道的信息瓶颈<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>。

对于任何实现图 3 中一般框架的神经网络，宏观动力学 <math>f_{\phi_q}</math> 的互信息与整个动力学模型相同，即对于任意时间从 <math>(\mathbf{x}_t)</math> 到 <math>(\hat{\mathbf{x}}_{t+1})</math> 的映射。此定理是 NIS 中最重要的定理。从这个定理可以看出，实际上，宏观动力学 <math>f</math> 是整个通道的信息瓶颈<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>。

==训练过程的变化==

==训练过程的变化==