761
个编辑
更改
跳到导航
跳到搜索
第30行：
第30行： − + − st+1=f(st,at),s_{t+1} = f(s_t, a_t), + − + − {at∗,…,at+H−1∗}=argmaxat:t+H−1∑i=0H−1γi r(st+i,at+i)s.t.st+i+1=f(st+i,at+i),\{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr), + − + + + + + + + + + + + + + + + + + +
→模型预测控制（Model Predictive Control, MPC）简介
=== 模型预测控制（Model Predictive Control, MPC）简介 ===
=== 模型预测控制（Model Predictive Control, MPC）简介 ===
MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为<math>p(z_t\mid z_{t-1},a_{t-1})</math> s_t ，作用于系统的控制动作为 ata_t，动力学模型表示为
MPC 利用系统的动力学模型，在每个决策时刻通过有限时域优化实时生成控制输入。假设系统状态为<math>s_t</math> ，作用于系统的控制动作为<math>a_t</math>，动力学模型表示为
其中 ff 可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态 sts_t 及动作 ata_t 下的下一状态 st+1s_{t+1}。在时刻 tt，MPC 求解以下有限预测时域 HH 上的最优动作序列：
<math>s_{t+1} = f(s_t, a_t)</math>
其中 γ∈(0,1]\gamma\in(0,1] 为折扣因子，r(s,a)r(s,a) 为即时奖赏函数，HH 称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作 at∗a_t^*，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。
其中<math>f</math>可以是通过系统辨识获得的线性或非线性模型，用于预测系统在当前状态<math>s_t</math>及动作<math>a_t</math>下的下一状态<math>s_{t+1}</math>。在时刻<math>t</math>，MPC 求解以下有限预测时域<math>H</math>上的最优动作序列：
<math>\{a_t^*,\dots,a_{t+H-1}^*\} = \arg\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r\bigl(s_{t+i},a_{t+i}\bigr) \quad\text{s.t.}\quad s_{t+i+1}=f\bigl(s_{t+i},a_{t+i}\bigr)</math>
其中<math>\gamma\in(0,1]</math>为折扣因子，<math>r(s,a)</math>为即时奖赏函数，<math>H</math>称为预测时域，优化结果是一组使未来累积折扣奖赏最大的动作序列。随后仅执行序列中的第一个动作<math>a_t^*</math>，环境推进后更新状态并重新求解优化问题，形成“滚动时域”（receding horizon）控制策略。MPC 的优点在于能够自然处理状态和动作约束，并具有对未来事件的预测能力；缺点则是每个时刻都要在线求解优化问题，计算开销较大，且对模型精度要求较高。
=== Dreamer所继承或改进的相关方法（如PlaNet） ===
=== Dreamer所继承或改进的相关方法（如PlaNet） ===
Dreamer在 PlaNet的世界模型基础上，引入了端到端的潜在想象与策略—价值梯度更新，显著提升了数据效率和计算效率。PlaNet 首先学习潜在动力学模型，并使用交叉熵方法（CEM）在潜在空间中规划动作：
<math>\max_{a_{t:t+H-1}} \sum_{i=0}^{H-1} \gamma^i\,r_\psi(\hat{z}_{t+i}) \quad\text{s.t.}\quad \hat{z}_{t+i+1}=f_\theta(\hat{z}_{t+i},a_{t+i})</math>
其中<math>\hat{z}_{t+i}</math>是潜在状态预测，<math>r_\psi</math>为奖励模型，CEM 通过迭代采样和重采样寻找最优动作，但计算代价高昂。Dreamer 则在已学到的潜在模型中，从当前潜在状态<math>\hat{z}_t</math>出发，使用策略网络 <math>\pi_\omega(a\mid z)</math>在潜在空间中想象多步轨迹：
<math>\quad \hat{a}_{t:t+T-1}\sim \pi_\omega(\cdot\mid \hat{z}_{t:t+T-1})</math>
并在想象轨迹上同时优化策略网络和价值网络<math>V_\eta</math>。其策略损失和价值损失分别为：
<math>Lcritic=E[(Vη(z^t)−∑i=0T−1γi r^t+i−γTVη(z^t+T))2],\mathcal{L}_{\mathrm{critic}} = \mathbb{E}\Bigl[\bigl(V_\eta(\hat{z}_t) - \sum_{i=0}^{T-1}\gamma^i\,\hat{r}_{t+i} - \gamma^T V_\eta(\hat{z}_{t+T})\bigr)^2\Bigr]</math>
其中<math>\hat{r}_{t+i}=r_\psi(\hat{z}_{t+i})</math>是对即时奖励的预测，<math>\omega</math>为策略网络参数，<math>\eta</math>为价值网络参数，通过反向传播实现“在梦中”高效学习。最新的第三代 Dreamer 进一步加入归一化和平衡技术，实现了在 150 多个不同任务中的高度鲁棒性和优异性能。
----
----