761
个编辑
更改
跳到导航
跳到搜索
第25行：
第25行： − + − '''状态转移模型'''： <math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。+ − + − '''动力学预测模型'''：采样规则为： <math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。+ − + − '''编码器（后验估计）模型'''：<math>s_t \sim q_\phi(s_t \mid h_t, x_t)</math>。给定真实观测<math>x_t</math>，编码器推断<math>s_t</math>的后验分布。训练时通过重构损失和KL散度正则化校正先验预测。+ − + − '''观测解码器模型'''： <math>\hat{x}t \sim p\phi(x_t \mid h_t, s_t)</math>。从<math>h_t</math>与<math>s_t</math>解码出<math>x_t</math>，通过最大化观测似然或最小化重构误差进行训练。+ − + − '''奖励预测模型'''：<math>\hat{r}t \sim p\phi(r_t \mid h_t, s_t)</math>。用以在潜在空间中预测奖励，辅助世界模型训练，并为策略优化提供模拟反馈。+ − + − '''继续标志（终止预测）模型'''：<math>\hat{c}t \sim p\phi(c_t \mid h_t, s_t)</math>。预测episode是否终止（<math>c_t \in {0,1}</math>），即预测折扣因子<math>\gamma_t</math>。DreamerV2起引入此机制，以在想象轨迹中判定何时停止推理。+
→3.1 系统架构
==== 潜在动力学模型（Latent Dynamics Model） ====
==== 潜在动力学模型（Latent Dynamics Model） ====
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
PlaNet引入了循环状态空间模型（RSSM），用于在潜在空间中建模环境动力学。RSSM结合了确定性路径与随机路径：每个时间步的隐状态由一个确定性递归状态<math>h_t</math>和一个随机潜变量<math>s_t</math>（亦记作<math>z_t</math>）共同组成。RSSM包含以下子模块：
#
# * '''状态转移模型'''： <math>h_t = f_\phi(h_{t-1}, s_{t-1}, a_{t-1})</math>。通常由GRU等递归神经网络实现，依据前一时刻的<math>h_{t-1}</math>、<math>s_{t-1}</math>及动作<math>a_{t-1}</math>，更新新的确定性状态<math>h_t</math>，赋予模型记忆能力，捕捉复杂非线性动态。
#
# *'''动力学预测模型'''：采样规则为： <math>\hat{s}t \sim p\phi(s_t \mid h_t)</math>。在缺乏观测时，根据当前<math>h_t</math>预测未来<math>s_t</math>。PlaNet和DreamerV1使用高斯分布，DreamerV2/V3则采用独立分类分布。先验使智能体可在潜在空间内递归生成潜在轨迹。
#
# *'''编码器（后验估计）模型'''：<math>s_t \sim q_\phi(s_t \mid h_t, x_t)</math>。给定真实观测<math>x_t</math>，编码器推断<math>s_t</math>的后验分布。训练时通过重构损失和KL散度正则化校正先验预测。
#
# *'''观测解码器模型'''： <math>\hat{x}t \sim p\phi(x_t \mid h_t, s_t)</math>。从<math>h_t</math>与<math>s_t</math>解码出<math>x_t</math>，通过最大化观测似然或最小化重构误差进行训练。
#
# *'''奖励预测模型'''：<math>\hat{r}t \sim p\phi(r_t \mid h_t, s_t)</math>。用以在潜在空间中预测奖励，辅助世界模型训练，并为策略优化提供模拟反馈。
#
# *'''继续标志（终止预测）模型'''：<math>\hat{c}t \sim p\phi(c_t \mid h_t, s_t)</math>。预测episode是否终止（<math>c_t \in {0,1}</math>），即预测折扣因子<math>\gamma_t</math>。DreamerV2起引入此机制，以在想象轨迹中判定何时停止推理。
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：
RSSM将环境建模为部分可观察马尔可夫决策过程（POMDP），确定性隐状态<math>h_t</math>累积历史信息，维持跨步连续性；随机潜变量<math>s_t</math>捕捉观测不确定性及新输入信息。这种设计具备重要意义：