更改

重建奖励：<math>\mathcal{J}_{\text{R}}^{t} \doteq \ln q(r_t|s_t)  </math>

重建奖励：<math>\mathcal{J}_{\text{R}}^{t} \doteq \ln q(r_t|s_t)  </math>

KL正则化：<math>③　\mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>

KL正则化：<math>\mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>

其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。

其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。