761
个编辑
更改
→策略网络与值函数
*'''想象环境与模拟轨迹'''：Dreamer通过在潜在空间中进行**想象（imagination）**生成训练数据。整体流程如下：首先，从真实环境交互中收集初步经验，并将其存入经验回放池。随后，智能体在潜在空间中反复执行以下训练循环：
*'''想象环境与模拟轨迹'''：Dreamer通过在潜在空间中进行**想象（imagination）**生成训练数据。整体流程如下：首先，从真实环境交互中收集初步经验，并将其存入经验回放池。随后，智能体在潜在空间中反复执行以下训练循环：
# 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹的起点；
# 从经验回放池中采样一批真实经历对应的潜在状态（即通过编码器将观测<math>o_t</math>编码得到的潜在表示<math>z_t</math>）作为想象轨迹的起点；
# 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。
# 在世界模型内部展开长度为<math>H</math>步的潜在轨迹（通常<math>H \approx 15</math>）扩展流程：1. 策略网络（actor）根据当前潜在状态<math>z_t</math>采样动作<math>a_t</math>；2. RSSM的转移模型根据<math>z_t</math>和<math>a_t</math>生成下一个潜在状态<math>z_{t+1}</math>；3. 奖励模型预测当前步的奖励<math>r_t</math>；4. 终止模型判断是否达到episode结束条件。<br>
通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。
通过上述过程，生成一条完全由世界模型预测产生的伪轨迹序列：<math>(z_0, a_0, r_0), (z_1, a_1, r_1), \dots, (z_H)</math>由于潜在状态的维度远小于原始观测（例如图像），且RSSM模块由神经网络实现，因此整个模拟过程可以在GPU上高度并行。DreamerV2的实验报告显示，其可以在单张GPU上并行生成多达2500条潜在轨迹。在这些模拟轨迹上，Dreamer分别训练价值网络（critic）与策略网络（actor），利用想象经验不断优化策略表现。
<br>
<br>