196
个编辑
更改
跳到导航
跳到搜索
第145行：
第145行： − + 第158行：
第158行： − 首先，先给出三个辅助定理和一个假设。+ − 辅助定理1——双射映射不影响互信息<ref name=":1" />：+ 第166行：
第166行： − 辅助定理2——连续自变量不影响互信息<ref name=":1" />：+ 第172行：
第172行： − 辅助定理3——条件熵的变分上界：+
无编辑摘要
== 概述 ==
== 概述 ==
[[文件:NIS+odd.png|替代=|右|无框|660x660像素|1]]
[[文件:NIS+odd.png|替代=|右|无框|660x660像素|1]]
为了最大化方程1中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，我们引入神经网络<math>g</math>来学习逆宏观动力学，即使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证互信息最大化。最后，利用概率重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)。
为了最大化方程1中定义的EI，我们将NIS的框架扩展为NIS+。在NIS+中，我们首先使用互信息和变分不等式的公式将互信息的最大化问题转化为机器学习问题，其次，使用<math>y_{t+1}=\phi(x_{t+1})</math>来预测<math>y_{t}</math>，从而保证互信息最大化。最后，利用概率重加权技术来解决均匀分布干预的挑战，从而优化EI。所有这些技术组成了增强版神经信息压缩机(NIS+)。
== 数学推导 ==
== 数学推导 ==
=== 宏观EI的变分下界 ===
=== 宏观EI的变分下界 ===
首先，先给出三个引理和一个假设。
引理1——双射映射不影响互信息<ref name=":1" />：
对于任意给定的连续随机变量X和Z，如果存在一个双射(一对一)映射f与另一个随机变量Y，使得对于任意<math>x\in Dom (X)</math>存在一个<math>y=f (x)\in Dom (Y)</math>，反之亦然，其中<math>Dom (X)</math>表示变量X的域，则X与Z之间的互信息等于Y与Z之间的互信息，即：
对于任意给定的连续随机变量X和Z，如果存在一个双射(一对一)映射f与另一个随机变量Y，使得对于任意<math>x\in Dom (X)</math>存在一个<math>y=f (x)\in Dom (Y)</math>，反之亦然，其中<math>Dom (X)</math>表示变量X的域，则X与Z之间的互信息等于Y与Z之间的互信息，即：
<math>I (X;Z)=I (Y;Z)</math>
<math>I (X;Z)=I (Y;Z)</math>
引理2——连续自变量不影响互信息<ref name=":1" />：
若<math>X\in Dom (X)</math>与<math>Y\in Dom (Y)</math>构成一条马尔可夫链<math>X\rightarrow Y</math>，且<math>Z\in Dom (Z)</math>是一个与X、Y均无关的随机变量，则：
若<math>X\in Dom (X)</math>与<math>Y\in Dom (Y)</math>构成一条马尔可夫链<math>X\rightarrow Y</math>，且<math>Z\in Dom (Z)</math>是一个与X、Y均无关的随机变量，则：
<math>I (X;Y)=I (X;Y\bigoplus Z)</math>
<math>I (X;Y)=I (X;Y\bigoplus Z)</math>
引理3——条件熵的变分上界：
给定一个条件熵<math>H(\boldsymbol{y}|\boldsymbol{x})</math>，其中<math>\boldsymbol{x}\in \mathcal{R}^s</math>，<math>\boldsymbol{y}\in \mathcal{R}^q</math>，则该条件熵存在一个变分上界：
给定一个条件熵<math>H(\boldsymbol{y}|\boldsymbol{x})</math>，其中<math>\boldsymbol{x}\in \mathcal{R}^s</math>，<math>\boldsymbol{y}\in \mathcal{R}^q</math>，则该条件熵存在一个变分上界：