259
个编辑
更改
→宏观EI的变分下界
|证明：
|证明：
原始的有约束的目标优化公式如式{{EquationNote|1}}所示。
原始的有约束的目标优化公式如式{{EquationNote|1}}所示。
在此方程中<math>\hat{X}_{t+1}=\psi_{\omega}^{-1}(\hat{Y}_{t+1}\bigoplus \xi)</math>，其中<math>\psi_{\omega}^{-1}</math>是可逆映射，根据引理1和引理2以及互信息的性质，我们可以得到：
在此方程中<math>\hat{X}_{t+1}=\psi_{\omega}^{-1}(\hat{Y}_{t+1}\bigoplus \xi)</math>，其中<math>\psi_{\omega}^{-1}</math>是可逆映射，[math]\xi[/math]为一个正态分布随机数，根据引理1和引理2以及互信息的性质，我们可以得到：
<math>I(Y_t,\hat{Y}_{t+1})=I(Y_t,\hat{X}_{t+1})=H(Y_t)-H(Y_t|\hat{X}_{t+1})</math>
<math>I(Y_t,\hat{Y}_{t+1})=I(Y_t,\hat{X}_{t+1})=H(Y_t)-H(Y_t|\hat{X}_{t+1})</math>
其中，<math>I</math>是[[互信息]]，<math>H</math>是[[熵]]，令<math>U_q</math>为宏观变量的均匀分布，那么<math>H(\tilde{Y}_t)=H(U_q)</math>。故：
<math>\mathcal{J}(f_{\theta,q})=I(\tilde{Y}_{t},\hat{X}_{t+1})=H(U_q)-H(\tilde{Y}_t|\tilde{X}_{t+1})</math>
<math>\mathcal{J}(f_{\theta,q})=I(\tilde{Y}_{t},\hat{X}_{t+1})=H(U_q)-H(\tilde{Y}_t|\tilde{X}_{t+1})</math>
其中，<math>\mathcal{J}</math>是维度平均的[[有效信息]]。由于<math>H(U_q)</math>为常数，所以<math>\mathcal{J}(f_{q})</math>的优化可以转化为条件熵<math>H(\tilde{Y}_t|\tilde{X}_{t+1})</math>的最小化优化问题。根据引理3可以得知：
<math> H(\tilde{Y}_t|\tilde{X}_{t+1}) \le -\iint \tilde{p}(\boldsymbol{y}_t, \boldsymbol{x}_{t+1})\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1}) \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1} = -\iint \tilde{p}(\boldsymbol{y}_{t})\tilde{p}(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1}) \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1}</math>
<math> H(\tilde{Y}_t|\tilde{X}_{t+1}) \le -\iint \tilde{p}(\boldsymbol{y}_t, \boldsymbol{x}_{t+1})\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1}) \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1} = -\iint \tilde{p}(\boldsymbol{y}_{t})\tilde{p}(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1}) \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1}</math>