196
个编辑
更改
跳到导航
跳到搜索
第316行：
第316行： − 此部分主要包括两个关键定理的证明：第一个是宏观EI的变分下界，作者基于三个引理（双射映射不影响互信息；连续自变量不影响互信息；条件熵的变分上界）推导出了原目标函数的变分下界，即，对于给定的 q 值，由式{{EquationNote|3}}定义的无约束目标函数作为式{{EquationNote|1}}中定义的约束目标函数的下界。从而方便求解泛函优化问题；第二个是编码器的通用逼近定理，作者基于引理（编码器的信息瓶颈）推导出此定理，定理表明编码器可以近似(模拟)任何定义在<math>+ + + + + + + + + + + + + + + + + + +
→宏观EI的变分下界
式{{EquationNote|1}}中，数学形式是一个泛函问题，无法直接进行优化，作者将通过计算并优化变分下界来解决泛函优化问题。同时，在NIS+框架中，作者使用了编码器将p维的输入数据进行粗粒化，得到q维的宏观数据，下面编码器的通用逼近定理将证明编码器的可以近似任意复杂的粗粒化函数。
式{{EquationNote|1}}中，数学形式是一个泛函问题，无法直接进行优化，作者将通过计算并优化变分下界来解决泛函优化问题。同时，在NIS+框架中，作者使用了编码器将p维的输入数据进行粗粒化，得到q维的宏观数据，下面编码器的通用逼近定理将证明编码器的可以近似任意复杂的粗粒化函数。
此部分主要包括两个关键定理的证明：一、宏观EI的变分下界：对于给定的 q 值，由式{{EquationNote|3}}定义的无约束目标函数作为式{{EquationNote|1}}中定义的约束目标函数的下界。二、编码器的通用逼近定理：对于任何连续函数<math>
f
</math>，定义在<math>
K\times \mathcal{R}^p
</math>，<math>
K\in \mathcal{R}^p
</math>是一个紧集，<math>
p>q\in \mathcal{Z^+}
</math>，存在整数<math>
s
</math>和扩展堆编码器<math>
\phi_{p,s,q}: \mathcal{R}^p\rightarrow \mathcal{R}^q
</math>（有<math>
s
</math>隐藏层）和扩展操作<math>
\eta_{p,s}
</math>，使得：<math>
\phi_{p,s,q}\simeq f
</math>，这表明编码器可以近似(模拟)任何定义在<math>
\mathcal{R}^p\times \mathcal{R}^q
\mathcal{R}^p\times \mathcal{R}^q
</math>粗粒化函数。
</math>粗粒化函数。