更改

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref>HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

在此基础上，Hafner 等人于 2019 年提出了 '''PlaNet（Planning Network）'''<ref>HAFNER D, LILLICRAP T, FISCHER I, etl. Learning Latent Dynamics for Planning from Pixels[J]. arXiv.org, 2019.</ref>，引入了更强表达能力的'''循环状态空间模型（Recurrent State Space Model, RSSM）'''，并通过基于潜在空间的MPC（模型预测控制）实现了在像素级输入下的强化学习任务。PlaNet 不仅提升了建模精度，还首次系统地验证了世界模型在标准 RL 基准任务中的可行性。

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref>Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref>Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref>Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023.</ref>。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明[[世界模型]]已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。

随后，Hafner 团队持续优化该系列框架，陆续提出了 '''DreamerV1（2020）'''<ref name=":0">Hafner D, Lillicrap T, Ba J, et al. Dream to Control: Learning Behaviors by Latent Imagination[C]//International Conference on Learning Representations.</ref>、'''DreamerV2（2021）'''<ref>Hafner D, Lillicrap T P, Norouzi M, et al. Mastering Atari with Discrete World Models[C]//International Conference on Learning Representations.</ref> 和 '''DreamerV3（2023）'''<ref>Hafner D, Pasukonis J, Ba J, et al. Mastering diverse domains through world models[J]. arXiv preprint arXiv:2301.04104, 2023.</ref>。DreamerV1 在 PlaNet 的基础上引入了基于潜在空间的 actor-critic 学习机制，实现了端到端的策略优化，显著提升了数据效率和计算效率。DreamerV2 则首次在 Atari 游戏中达到了与基于模型无关方法相当甚至更优的性能，表明[[世界模型]]已具备强大的泛化能力和策略学习效率。DreamerV3 进一步加入归一化和平衡技术，提高了算法的稳定性与适应性，在多种[[强化学习]]基准测试中展现出前所未有的性能突破，实现了在 150 多个不同任务中的高度鲁棒性和优异性能，并于 '''2025 年发表在《Nature》杂志上'''，成为[[世界模型]]领域迈向主流通用智能路径的重要里程碑。

----

----

KL正则化：<math>\mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>

KL正则化：<math>\mathcal{J}_{\text{D}}^{t} \doteq -\beta \text{KL} \left( p(s_t|s_{t - 1}, a_{t - 1}, o_t) \parallel q(s_t|s_{t - 1}, a_{t - 1}) \right) </math>

其中 <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。

其中， <math>\ln q_\theta(o_t|s_t) </math>项衡量根据潜在状态<math>s_t </math>重建观测<math>o_t </math>的对数概率，<math>\ln q_\theta(r_t|s_t) </math>项对应根据<math>s_t </math>预测奖励<math>r_t </math>的对数概率，而<math>D_{KL}(\cdot|\cdot) </math>则是后验分布 <math>p_\theta(s_t|\dots) </math>与先验分布<math>q_\theta(s_t|\dots) </math>的KL散度。<math>\beta </math>：超参数，控制KL散度的权重（通常取1）。

 

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。

在实现中，表征模型采用[[卷积网络]]（CNN）提取图像特征，转移模型使用循环状态空间模型（RSSM）处理时间序列信息 ，并使用重参数化技巧和随机梯度反向传播（Kingma & Welling方法）<ref>D. P. Kingma and M. Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114,2013. </ref>来训练整个模型 。

===重参数技巧与ELBO目标函数===

===重参数技巧与ELBO目标函数===