786
个编辑
更改
跳到导航
跳到搜索
第245行：
第245行： − 第256行：
第255行： −
→训练过程的变化
通过信息瓶颈理论，可以直观地理解当神经压缩器框架通过数据进行训练时会发生什么。
通过信息瓶颈理论，可以直观地理解当神经压缩器框架通过数据进行训练时会发生什么。
首先，在神经网络训练过程中，整个框架的输出<math>\hat{\mathbf{x}}_{t+1}</math>对任意给定<math>\mathbf{x}_t</math>都接近于真实数据<math>\mathbf{x}_{t+1}</math>，对互信息同理。即如下定理：
首先，在神经网络训练过程中，整个框架的输出<math>\hat{\mathbf{x}}_{t+1}</math>对任意给定<math>\mathbf{x}_t</math>都接近于真实数据<math>\mathbf{x}_{t+1}</math>，对互信息同理。即如下定理：
===模型的互信息与数据的互信息接近===
===模型的互信息与数据的互信息接近===
因为宏观动力学是整个通道的信息瓶颈，其信息必然随着训练而增加。同时，<math>\psi</math>的雅可比矩阵的行列式和<math>\mathbf{y}_t</math>的熵一般也会增加。
因为宏观动力学是整个通道的信息瓶颈，其信息必然随着训练而增加。同时，<math>\psi</math>的雅可比矩阵的行列式和<math>\mathbf{y}_t</math>的熵一般也会增加。
===信息瓶颈是编码器的下界===
===信息瓶颈是编码器的下界===