259
个编辑
更改
→分阶段训练
第一阶段：只训练前向神经网络，最小化预测误差<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>。
第一阶段：只训练前向神经网络，最小化预测误差<math>\left\|\phi_q^{\dagger}(Y(t+1))-X_{t+1}\right\| </math>。
第二阶段，只训练反向神经网络，本质上是用于训练<math>
\phi_{ω}
\phi_{ω}
</math>。
</math>。
\phi_L
\phi_L
</math>和<math>
</math>和<math>
\phi^\dag_L
\phi^\dagger_L
</math>分别表示L层堆叠的编码器和解码器，则：
</math>分别表示L层堆叠的编码器和解码器，则：
<math>
<math>
I(X;Y)=I(X;\Phi^\dag_L(Y))
I(X;Y)=I(X;\Phi^\dagger_L(Y))
</math>
</math>
\phi_T
\phi_T
</math>和<math>
</math>和<math>
\phi^\dag_T
\phi^\dagger_T
</math>分别表示由T个普通编码器或解码器组成的并行编码器和解码器，则：
</math>分别表示由T个普通编码器或解码器组成的并行编码器和解码器，则：
<math>
<math>
I(X;Y)=I(X;\Phi^\dag_T(Y))
I(X;Y)=I(X;\Phi^\dagger_T(Y))
</math>
</math>