761
个编辑
更改
跳到导航
跳到搜索
第61行：
第61行： − + + − 它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：+ − − <math>p(s_t \mid s_{t-1}, a_{t-1}, o_t) </math> − − 其中，<math>o_t </math>是当前的观察，<math>s_t </math>是历史的潜在状态，<math>a_{t-1} </math>是动作，<math>s_t </math>是当前时刻的潜在状态。 − − 转移模型的作用是根据历史的潜在状态和动作预测未来的潜在状态，从一个状态转移到下一个状态。它学习在给定当前潜在状态和动作的情况下，如何生成下一个潜在状态。这使得DreamerV1能够在潜在空间中进行“想象”，预测未来的状态。其公式为： − − − − *'''奖励模型（Reward Model）'''： − − 奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为： − − − − 第89行：
第74行： − +
→表征学习阶段
在[[表征学习]]阶段，DreamerV1训练了三个关键部分：
在[[表征学习]]阶段，DreamerV1训练了三个关键部分：
*'''表征模型（Representation Model）'''：
*'''表征模型（Representation Model）'''：<br>它负责将观测数据（例如，图像）转化为潜在的连续状态表示。换句话说，模型通过观察图像（<math>o_t </math>），推断出一个潜在状态（<math>s_t </math>）。它的目标是根据前一时刻的潜在状态、动作和观测数据来预测当前时刻的潜在状态。其数学公式为：<br> <math>p(s_t \mid s_{t-1}, a_{t-1}, o_t) </math> <br>其中，<math>o_t </math>是当前的观察，<math>s_t </math>是历史的潜在状态，<math>a_{t-1} </math>是动作，<math>s_t </math>是当前时刻的潜在状态。
*'''转移模型（Transition Model）'''：<br>转移模型的作用是根据历史的潜在状态和动作预测未来的潜在状态，从一个状态转移到下一个状态。它学习在给定当前潜在状态和动作的情况下，如何生成下一个潜在状态。这使得DreamerV1能够在潜在空间中进行“想象”，预测未来的状态。其公式为：<br> <math>q(s_t \mid s_{t-1}, a_{t-1}) </math>
*'''奖励模型（Reward Model）'''：<br> 奖励模型的任务是预测在某一潜在状态下，环境会给出多少奖励。它通过当前的潜在状态来预测未来可能的奖励。这一部分帮助模型理解每一步的“好坏”，从而更好地优化行为。其公式为：<br> <math>q(r_t \mid s_t) </math> <br> 式中，<math>r_t </math>表示奖励。
*'''转移模型（Transition Model）'''：
<math>q(s_t \mid s_{t-1}, a_{t-1}) </math>
<math>q(r_t \mid s_t) </math>
式中，<math>r_t </math>表示奖励。
表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：
表征学习阶段的目标是'''最大化变分下界（ELBO）'''，目标函数为：
重建奖励：<math>\mathcal{J}_{\text{R}}^{t} \doteq \ln q(r_t|s_t) </math>
重建奖励：<math>\mathcal{J}_{\text{R}}^{t} \doteq \ln q(r_t|s_t) </math>
KL正则化：<math>③ \mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>
KL正则化：<math>\mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>
其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。
其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。