更改

其中<math>\hat{z}_{t+i}</math>是潜在状态预测，<math>r_\psi</math>为奖励模型，CEM 通过迭代采样和重采样寻找最优动作，但计算代价高昂。Dreamer 则在已学到的潜在模型中，从当前潜在状态<math>\hat{z}_t</math>出发，使用策略网络 <math>\pi_\omega(a\mid z)</math>在潜在空间中想象多步轨迹：

其中<math>\hat{z}_{t+i}</math>是潜在状态预测，<math>r_\psi</math>为奖励模型，CEM 通过迭代采样和重采样寻找最优动作，但计算代价高昂。Dreamer 则在已学到的潜在模型中，从当前潜在状态<math>\hat{z}_t</math>出发，使用策略网络 <math>\pi_\omega(a\mid z)</math>在潜在空间中想象多步轨迹：

<math>\quad \hat{a}_{t:t+T-1}\sim \pi_\omega(\cdot\mid \hat{z}_{t:t+T-1})</math>

<math>\hat{z}_{t+1:t+T},\quad \hat{a}_{t:t+T-1}\sim \pi_\omega(\cdot\mid \hat{z}_{t:t+T-1})</math>

并在想象轨迹上同时优化策略网络和价值网络<math>V_\eta</math>。其策略损失和价值损失分别为：

并在想象轨迹上同时优化策略网络和价值网络<math>V_\eta</math>。其策略损失和价值损失分别为：

<math>Lcritic=E[(Vη(z^t)−∑i=0T−1γi r^t+i−γTVη(z^t+T))2],\mathcal{L}_{\mathrm{critic}} = \mathbb{E}\Bigl[\bigl(V_\eta(\hat{z}_t) - \sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} - \gamma^T V_\eta(\hat{z}_{t+T})\bigr)^2\Bigr]</math>

<math>\mathcal{L}_{\mathrm{actor}} = -\mathbb{E}\Bigl[\sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} + \gamma^T V_\eta(\hat{z}_{t+T})\Bigr],  

mathcal{L}_{\mathrm{critic}} = \mathbb{E}\Bigl[\bigl(V_\eta(\hat{z}_t) - \sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} - \gamma^T V_\eta(\hat{z}_{t+T})\bigr)^2\Bigr], </math>

其中<math>\hat{r}_{t+i}=r_\psi(\hat{z}_{t+i})</math>是对即时奖励的预测，<math>\omega</math>为策略网络参数，<math>\eta</math>为价值网络参数，通过反向传播实现“在梦中”高效学习。最新的第三代 Dreamer 进一步加入归一化和平衡技术，实现了在 150 多个不同任务中的高度鲁棒性和优异性能。

其中<math>\hat{r}_{t+i}=r_\psi(\hat{z}_{t+i})</math>是对即时奖励的预测，<math>\omega</math>为策略网络参数，<math>\eta</math>为价值网络参数，通过反向传播实现“在梦中”高效学习。最新的第三代 Dreamer 进一步加入归一化和平衡技术，实现了在 150 多个不同任务中的高度鲁棒性和优异性能。