Dreamer 系列框架自最早的 PlaNet 提出以来,经历了一系列的改进与演化。研究者不断在世界模型的建模方式、规划效率以及训练稳定性等方面进行优化,逐步发展出包括 DreamerV1、V2 乃至 V3 等多个版本。每一代框架在继承前一代核心思想的基础上,引入了更先进的模型结构和训练机制,显著提升了基于模型的强化学习方法在复杂环境中的表现力和泛化能力。但其核心思想始终保持一致,即通过重构观测数据来训练世界模型,并在潜在空间中建模环境的动态过程——具体而言,是通过学习循环状态空间模型(Recurrent State Space Model, RSSM)来捕捉环境的时序结构和潜在因果机制。 |