更改

作者使用神经网络来拟合分布<math>g(y_t|x_t+1)</math>，根据引理3，<math>g(y_t|x_t+1)</math>可以是任何分布，在这里，假设<math>g(y_t|x_t+1)</math>为正态分布，即<math>g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1})\sim N(\mu,\Sigma)</math>，其中<math>\mu =g_{\theta'}(\phi(\boldsymbol{x}_{t+1}))</math>，<math>\Sigma=diag(\sigma_1, \sigma_2,\cdot\cdot\cdot,\sigma_q)</math>是常数对角矩阵，进一步，假设<math>\sigma_i</math>是有界的，则<math>\sigma_i\in[\sigma_m,\sigma_M]</math>，其中<math>\sigma_m</math>和<math>\sigma_M</math>分别是MSE的最小值和最大值。则<math>g(y_t|x_t+1)</math>的对数概率密度函数为：

作者使用神经网络来拟合分布<math>g(y_t|x_t+1)</math>，根据引理3，<math>g(y_t|x_t+1)</math>可以是任何分布，在这里，假设<math>g(y_t|x_t+1)</math>为正态分布，即<math>g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1})\sim N(\mu,\Sigma)</math>，其中<math>\mu =g_{\theta'}(\phi(\boldsymbol{x}_{t+1}))</math>，<math>\Sigma=diag(\sigma_1, \sigma_2,\cdot\cdot\cdot,\sigma_q)</math>是常数对角矩阵，进一步，假设<math>\sigma_i</math>是有界的，则<math>\sigma_i\in[\sigma_m,\sigma_M]</math>，其中<math>\sigma_m</math>和<math>\sigma_M</math>分别是MSE的最小值和最大值。则<math>g(y_t|x_t+1)</math>的对数概率密度函数为：

<math>\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1})\approx \ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|^\frac{1}{2}} e^{-\frac{(\boldsymbol{y}_t-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|}}=-\frac{(\boldsymbol{y}_t-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|}+\ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|^\frac{1}{2}}\geq -\frac{(\boldsymbol{y}_t-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|}+\ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|_{max}^\frac{1}{2}</math>

<math>\ln g(\boldsymbol{y}_t|\boldsymbol{x}_{t+1})\approx \ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|^\frac{1}{2}} e^{-\frac{(\boldsymbol{y}_t-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|}}</math>

如果训练足够充分，那么<math> \tilde{p}(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\approx p(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)</math>，故：

如果训练足够充分，那么<math> \tilde{p}(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\approx p(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)</math>，故：

<math>H(\Tilde{Y}_t|\tilde{X}_{t+1}) \le \iint \tilde{p}(\boldsymbol{y}_{t})p(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\left[\frac{(\phi (\boldsymbol{x}_t)-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|_{min}}-\ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|_{max}^\frac{1}{2}}\right] \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1}</math>

<math>H(\tilde{Y}_t|\tilde{X}_{t+1}) \le \iint \tilde{p}(\boldsymbol{y}_{t})p(\boldsymbol{x}_{t+1}|\boldsymbol{y}_t)\left[\frac{(\phi (\boldsymbol{x}_t)-g_{\theta'}(\phi(\boldsymbol{x}_{t+1})))^2}{2|\Sigma|_{min}}-\ln \frac{1}{(2\pi)^{\frac{m}{2}}|\Sigma|_{max}^\frac{1}{2}}\right] \mathrm{d}\boldsymbol{y}_t \mathrm{d}\boldsymbol{x}_{t+1}</math>

式中，<math>|\Sigma|_{min}=\sigma_{min}^q</math>，<math>|\Sigma|_{max}=\sigma_{max}^q</math>。

式中，<math>|\Sigma|_{min}=\sigma_{min}^q</math>，<math>|\Sigma|_{max}=\sigma_{max}^q</math>。