761
个编辑
更改
跳到导航
跳到搜索
第204行：
第204行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + − + − + − + − + − + + + + + + +
→不同版本对比
='''不同版本对比'''=
='''不同版本对比'''=
{| class="wikitable"
!特征/版本
!'''PlaNet''' (ICLR 2019)
!'''DreamerV1''' (NeurIPS 2019)
!'''DreamerV2''' (ICLR 2021)
!'''DreamerV3''' (Nature 2025)
|-
|'''提出年份'''
|2019
|2019
|2021
|2025
|-
|'''核心目标'''
|图像输入下的基于学习的强化学习
|首个在图像输入下的纯策略梯度 world model 方法
|提高稳定性与泛化能力
|通用强化学习，适用于离散和连续任务
|-
|'''模型架构'''
|Recurrent State Space Model (RSSM)
|RSSM + actor-critic
|RSSM + value target bootstrap
|RSSM + 任务自适应正则化 + 离散/连续统一策略学习
|-
|'''状态建模'''
|Stochastic + deterministic（混合）
|相同
|相同
|更深层次的层级结构建模，更丰富的隐状态表示
|-
|'''训练策略'''
|离线训练 + CEM规划器
|在线训练 + actor-critic（Dreamer-style）
|支持多步bootstrap目标的actor-critic
|端到端训练 + 强泛化策略更新机制
|-
|'''策略更新'''
|无策略梯度（使用CEM）
|使用actor-critic策略梯度（REINFORCE）
|使用更稳定的价值目标进行策略训练
|基于世界模型自适应建模难度，自适应权重的actor-critic
|-
|'''奖励函数'''
|外部给定
|相同
|相同
|同样使用外部奖励 + 任务适应目标
|-
|'''优化目标'''
|重构观测 + reward + KL正则
|同PlaNet + 策略期望回报
|引入V-trace类似的bootstrap目标
|引入任务适应的正则化目标函数 + 模型泛化指标
|-
|'''适用环境'''
|主要是连续控制任务（如DeepMind Control）
|同PlaNet
|更强泛化，支持长时序推理
|支持离散与连续任务（Atari, DMC, Crafter等）
|-
|'''性能表现'''
|略优于model-free baseline（如A3C）
|显著优于PlaNet和PPO等在视觉任务中
|在DMC benchmark中接近SOTA
|广泛任务上超过MuZero、DreamerV2、model-free baselines
|-
|'''代码实现'''
|TensorFlow（原始实现）
|TensorFlow
|TensorFlow / JAX（后期有JAX版本）
|官方提供JAX+Haiku实现，兼容大规模训练
|-
|'''代表性贡献'''
|提出RSSM + CEM计划器
|引入策略梯度世界模型训练范式（Dreamer-style）
|稳定性与性能并重，改进价值训练方式
|通用可扩展世界模型，支持Zero-Shot泛化与离散任务
|}
*Planet
=== 关键改进 ===
*DreamerV1（NeurIPS 2019）
* '''PlaNet → DreamerV1'''：
*DreamerV2（ICLR 2021）
** 最大的转变是从'''planning-based (CEM)''' 切换为'''actor-critic based''' 策略学习。
*DreamerV3（2023）
** 支持端到端强化学习更新，训练效率更高。
*主要改进点和性能比较
* '''DreamerV1 → DreamerV2'''：
** 引入了更稳定的'''value bootstrap目标'''，缓解了价值训练过程中的variance问题。
** 训练更加稳定，在长时序任务上性能显著提升。
* '''DreamerV2 → DreamerV3'''：
** 通用性增强，支持'''离散动作空间'''，显著扩展适用范围（如Atari游戏）。
** 引入'''任务自适应正则化（task-adaptive regularization）'''，提升跨任务泛化能力。
** 世界模型结构更深层次，引入'''更强的隐状态表达能力'''。
----
----