761
个编辑
更改
跳到导航
跳到搜索
第78行：
第78行： − +
→世界模型训练过程
其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。
其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。
在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）来训练整个模型 。
在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。
[[文件:1-3.png|无框|600x600像素]]
[[文件:1-3.png|无框|600x600像素]]