761
个编辑
更改
跳到导航
跳到搜索
第91行：
第91行： + + 第104行：
第106行： −
→表征学习阶段
*'''奖励模型（Reward Model）'''：<br> 奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：<br> <math>q(r_t \mid s_t) </math> <br> 式中，<math>r_t </math>表示奖励。
*'''奖励模型（Reward Model）'''：<br> 奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：<br> <math>q(r_t \mid s_t) </math> <br> 式中，<math>r_t </math>表示奖励。
表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：
表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：
[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]
[[文件:1-3.png|替代=|无|有框|Dreamer 的组成部分。引自<ref name=":0" />]]
在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。
在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。
===重参数技巧与ELBO目标函数===
===重参数技巧与ELBO目标函数===