更改

并在想象轨迹上同时优化策略网络和价值网络<math>V_\eta</math>。其策略损失和价值损失分别为：

并在想象轨迹上同时优化策略网络和价值网络<math>V_\eta</math>。其策略损失和价值损失分别为：

<math>\mathcal{L}_{\mathrm{actor}} = -\mathbb{E}\Bigl[\sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} + \gamma^T V_\eta(\hat{z}_{t+T})\Bigr],  

<math>\mathcal{L}_{\mathrm{actor}} = -\mathbb{E}\Bigl[\sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} + \gamma^T V_\eta(\hat{z}_{t+T})\Bigr], </math>

mathcal{L}_{\mathrm{critic}} = \mathbb{E}\Bigl[\bigl(V_\eta(\hat{z}_t) - \sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} - \gamma^T V_\eta(\hat{z}_{t+T})\bigr)^2\Bigr], </math>

 

<math>\mathcal{L}_{\mathrm{critic}} = \mathbb{E}\Bigl[\bigl(V_\eta(\hat{z}_t) - \sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} - \gamma^T V_\eta(\hat{z}_{t+T})\bigr)^2\Bigr], </math>

其中<math>\hat{r}_{t+i}=r_\psi(\hat{z}_{t+i})</math>是对即时奖励的预测，<math>\omega</math>为策略网络参数，<math>\eta</math>为价值网络参数，通过反向传播实现“在梦中”高效学习。最新的第三代 Dreamer 进一步加入归一化和平衡技术，实现了在 150 多个不同任务中的高度鲁棒性和优异性能。

其中<math>\hat{r}_{t+i}=r_\psi(\hat{z}_{t+i})</math>是对即时奖励的预测，<math>\omega</math>为策略网络参数，<math>\eta</math>为价值网络参数，通过反向传播实现“在梦中”高效学习。最新的第三代 Dreamer 进一步加入归一化和平衡技术，实现了在 150 多个不同任务中的高度鲁棒性和优异性能。