词条Dreamer
1. 概述
- Dreamer框架简介
- 所属领域：强化学习、世界模型、模型预测控制（MPC）等
- 提出时间与主要贡献者（如Danijar Hafner等）
- 与传统强化学习方法的对比简述
2. 背景知识
- 强化学习简介
- 世界模型（World Models）简介
- 模型预测控制（Model Predictive Control, MPC）简介
- Dreamer所继承或改进的相关方法（如PlaNet）
3. Dreamer框架原理
- 3.1 系统架构
- 编码器（Encoder）
- 潜在动力学模型（Latent Dynamics Model）
- 解码器（Decoder）
- 策略网络与值函数
- 3.2 训练过程
- 表征学习阶段
- 基于潜在空间的Rollout与策略优化
- 重参数技巧与ELBO目标函数
- 3.3 规划与决策机制
- 潜在空间中的imagined trajectory
- 使用MPC或policy gradient进行action selection
4. 不同版本对比
- Planet
- DreamerV1（NeurIPS 2019）
- DreamerV2（ICLR 2021）
- DreamerV3（2023）
- 主要改进点和性能比较
5. 应用与性能
- 在Mujoco、Atari、DMC等环境下的表现
- 与SAC、TD3、PPO等方法的对比
- 在高维视觉输入上的优势
- 其他应用
6. 框架实现
- 常用开源实现（如官方Dreamer GitHub仓库）
- 可视化与调试工具支持
- TensorFlow与PyTorch的兼容情况
7. 影响与发展
- 对后续研究的启发（如DreamerV3、World Model + LLM等）
- 世界模型在通用人工智能中的作用展望
- 与MoPA、Model-Based RL融合趋势
8. 参考文献与外部链接
- 原始论文链接
- 开源代码仓库
- 相关综述或解读文章