761
个编辑
更改
跳到导航
跳到搜索
第291行：
第291行： − * '''PlaNet → DreamerV1'''：+ − ** 最大的转变是从'''planning-based (CEM)''' 切换为'''actor-critic based''' 策略学习。 − ** 支持端到端强化学习更新，训练效率更高。 − * '''DreamerV1 → DreamerV2'''： − ** 引入了更稳定的'''value bootstrap目标'''，缓解了价值训练过程中的variance问题。 − ** 训练更加稳定，在长时序任务上性能显著提升。 − * '''DreamerV2 → DreamerV3'''： − ** 通用性增强，支持'''离散动作空间'''，显著扩展适用范围（如Atari游戏）。 − ** 引入'''任务自适应正则化（task-adaptive regularization）'''，提升跨任务泛化能力。 − ** 世界模型结构更深层次，引入'''更强的隐状态表达能力'''。 − === PlaNet → DreamerV1 ===+ − 111+ − 111+ + + − 111+ + + + +
→PlaNet → DreamerV1
=== 关键改进 ===
=== 关键改进 ===
=== PlaNet → DreamerV1 ===
* 最大的转变是从'''planning-based (CEM)''' 切换为'''actor-critic based''' 策略学习。
* 支持端到端强化学习更新，训练效率更高。
=== DreamerV1 → DreamerV2 ===
=== DreamerV1 → DreamerV2 ===
* 引入了更稳定的'''value bootstrap目标'''，缓解了价值训练过程中的variance问题。
* 训练更加稳定，在长时序任务上性能显著提升。
=== DreamerV2 → DreamerV3 ===
=== DreamerV2 → DreamerV3 ===
* 通用性增强，支持'''离散动作空间'''，显著扩展适用范围（如Atari游戏）。
* 引入'''任务自适应正则化（task-adaptive regularization）'''，提升跨任务泛化能力。
* 世界模型结构更深层次，引入'''更强的隐状态表达能力'''。