761
个编辑
更改
无编辑摘要
='''概述'''=
='''概述'''=
Dreamer框架是一个基于世界模型的强化学习方法，主要用于通过学习环境的隐式模型来进行高效的规划与决策。它属于强化学习领域中的一种重要方法，特别是在模型学习和模型预测控制（MPC）方面。Dreamer由Danijar Hafner等人于2019年提出，其核心思想是通过训练一个潜在的世界模型（world model），该模型通过对环境的内在表示进行建模，来模拟未来的状态变化，并基于此进行长期规划。与传统的强化学习方法（如基于值函数的Q学习或策略梯度方法）不同，Dreamer不直接依赖于与环境的交互，而是通过学习环境的动态模型，结合模型预测进行策略优化，从而提高了样本效率，尤其在复杂任务中能显著减少对环境交互的依赖。该方法使得强化学习能够在有限的交互次数内达到较高的性能，并在多个控制任务中取得了显著的成功。
Dreamer框架是一个基于世界模型的强化学习方法，主要用于通过学习环境的隐式模型来进行高效的规划与决策。它属于强化学习领域中的一种重要方法，特别是在模型学习和模型预测控制（MPC）方面。Dreamer由Danijar Hafner等人于2019年提出，其核心思想是通过训练一个潜在的世界模型（world model），该模型通过对环境的内在表示进行建模，来模拟未来的状态变化，并基于此进行长期规划。与传统的强化学习方法（如基于值函数的Q学习或策略梯度方法）不同，Dreamer不直接依赖于与环境的交互，而是通过学习环境的动态模型，结合模型预测进行策略优化，从而提高了样本效率，尤其在复杂任务中能显著减少对环境交互的依赖。该方法使得强化学习能够在有限的交互次数内达到较高的性能，并在多个控制任务中取得了显著的成功。
=== 模型预测控制（Model Predictive Control, MPC）简介 ===
=== 模型预测控制（Model Predictive Control, MPC）简介 ===
MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为<math>s_t <math>，作用于系统的控制动作为 ata_t，动力学模型表示为
st+1=f(st,at),s_{t+1} = f(s_t, a_t),
其中 ff 可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态 sts_t 及动作 ata_t 下的下一状态 st+1s_{t+1}。在时刻 tt，MPC 求解以下有限预测时域 HH 上的最优动作序列：
{at∗,…,at+H−1∗}=argmaxat:t+H−1∑i=0H−1γi r(st+i,at+i)s.t.st+i+1=f(st+i,at+i),\{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr),
其中 γ∈(0,1]\gamma\in(0,1] 为折扣因子，r(s,a)r(s,a) 为即时奖赏函数，HH 称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作 at∗a_t^*，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。
=== Dreamer所继承或改进的相关方法（如PlaNet） ===
=== Dreamer所继承或改进的相关方法（如PlaNet） ===
----
----