“Dreamer”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
（添加了Dreamer大纲）
念（讨论 | 贡献）
第22行： 第22行：
  
 
* '''3.1 系统架构'''
 
* '''3.1 系统架构'''
−
 
+
** 编码器-解码器（Encoder-Decoder）
−
** 编码器（Encoder）
 
 
** 潜在动力学模型（Latent Dynamics Model）
 
** 潜在动力学模型（Latent Dynamics Model）
−
** 解码器（Decoder）
 
 
** 策略网络与值函数
 
** 策略网络与值函数
  
−
* '''3.2 训练过程'''
+
*'''3.2 训练过程'''
−
 
 
 
** 表征学习阶段
 
** 表征学习阶段
 
** 基于潜在空间的Rollout与策略优化
 
** 基于潜在空间的Rollout与策略优化
第35行： 第32行：
  
 
* '''3.3 规划与决策机制'''
 
* '''3.3 规划与决策机制'''
−
 
 
** 潜在空间中的imagined trajectory
 
** 潜在空间中的imagined trajectory
 
** 使用MPC或policy gradient进行action selection
 
** 使用MPC或policy gradient进行action selection

2025年4月18日 (五) 21:02的版本

词条Dreamer

1. 概述

  • Dreamer框架简介
  • 所属领域：强化学习、世界模型、模型预测控制（MPC）等
  • 提出时间与主要贡献者（如Danijar Hafner等）
  • 与传统强化学习方法的对比简述

2. 背景知识

  • 强化学习简介
  • 世界模型（World Models）简介
  • 模型预测控制（Model Predictive Control, MPC）简介
  • Dreamer所继承或改进的相关方法（如PlaNet）

3. Dreamer框架原理

  • 3.1 系统架构
    • 编码器-解码器（Encoder-Decoder）
    • 潜在动力学模型（Latent Dynamics Model）
    • 策略网络与值函数
  • 3.2 训练过程
    • 表征学习阶段
    • 基于潜在空间的Rollout与策略优化
    • 重参数技巧与ELBO目标函数
  • 3.3 规划与决策机制
    • 潜在空间中的imagined trajectory
    • 使用MPC或policy gradient进行action selection

4. 不同版本对比

  • Planet
  • DreamerV1（NeurIPS 2019）
  • DreamerV2（ICLR 2021）
  • DreamerV3（2023）
  • 主要改进点和性能比较

5. 应用与性能

  • 在Mujoco、Atari、DMC等环境下的表现
  • 与SAC、TD3、PPO等方法的对比
  • 在高维视觉输入上的优势
  • 其他应用

6. 框架实现

  • 常用开源实现（如官方Dreamer GitHub仓库）
  • 可视化与调试工具支持
  • TensorFlow与PyTorch的兼容情况

7. 影响与发展

  • 对后续研究的启发（如DreamerV3、World Model + LLM等）
  • 世界模型在通用人工智能中的作用展望
  • 与MoPA、Model-Based RL融合趋势

8. 参考文献与外部链接

  • 原始论文链接
  • 开源代码仓库
  • 相关综述或解读文章
取自“https://wiki.swarma.org/index.php?title=Dreamer&oldid=43399”