更改

Dreamer (查看源代码)

2025年5月16日 (五) 21:30的版本

删除1,521字节、 2025年5月16日 (五) 21:30

第33行：第33行：

其中<math>\mathrm{KL}(\cdot\|\cdot)</math>为 Kullback–Leibler 散度，先验分布<math>p(z_t\mid z_{t-1},a_{t-1})</math>即由 RNN 隐状态给出的预测分布。

−

~~=== 模型预测控制（Model Predictive Control, MPC）简介[[（这部分内容可以放到3.3中）|'''<u><big>（这部分内容可以放到3.3中）</big></u>''']] ===~~

−

MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为<math>s_t</math> ，作用于系统的控制动作为<math>a_t</math>，动力学模型表示为

−

~~<math>s_{t+1} = f(s_t, a_t)</math>~~

−

其中<math>f</math>可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态<math>s_t</math>及动作<math>a_t</math>下的下一状态<math>s_{t+1}</math>。在时刻<math>t</math>，MPC 求解以下有限预测时域<math>H</math>上的最优动作序列：

−

~~<math>\{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr)</math>~~

−

其中<math>\gamma\in(0,1]</math>为折扣因子，<math>r(s,a)</math>为即时奖赏函数，<math>H</math>称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作<math>a_t^*</math>，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。

=== Dreamer所继承或改进的相关方法（如PlaNet） ===

Dreamer在 PlaNet的世界模型基础上，引入了端到端的潜在想象与策略—价值梯度更新，显著提升了数据效率和计算效率。PlaNet 首先学习潜在动力学模型，并使用交叉熵方法（CEM）在潜在空间中规划动作：

念

761

个编辑