5,443
个编辑
更改
跳到导航
跳到搜索
第305行：
第305行： + + + + + + + + + + +
→斑图重构机器与世界模型
===斑图重构机器与世界模型===
===斑图重构机器与世界模型===
计算力学中的斑图重构机器关心智能体是如何从观测到的时间序列数据中自动地发现因果态，构建内在的环境模型，这一点与强化学习领域中的世界模型（也被称为以及模型的强化学习）不谋而合。
强化学习所解决的问题通常可以建模为马尔可夫决策过程（Markov Decision Process，缩写MDP），形式上可表示为$(S,A,T,R,\gamma)$,其中集合$S$为状态空间包含所有可能的状态，每个状态$s\in S$描述了系统在某一时刻的情形。集合$A$为动作空间，包含所有的动作。$T$为状态转移概率，$T(s'|s,a)$表示在状态$s$下执行动作$a$转移到$s'$的概率。奖励函数$R(s,a)$定义了在状态$s$采取动作$a$后获得的即时奖励，折扣因子$\gamma$是一个在 [0, 1] 之间的数，用于折扣未来奖励的影响。当智能体的观测$o$等于系统状态$s$时，对应一般的马尔可夫决策过程，当智能体无法直接观测到系统完整的状态时，问题可以描述为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process，缩写POMDP），POMDP可以描述为一个7元组$(S,A,T,R,\Omega,O,\gamma)$，$\Omega$表示观测空间，智能体的观测$o \in \Omega$，概率为$O(o|s',a)$。
在强化学习世界模型中，智能体根据和真实环境互动过程所产生的数据训练一个内嵌的世界模型，世界模型作为对真实环境的替代，从而可以通过和世界模型互动学习行动策略，减少和真实环境的互动。对于观测不包含完整的状态信息的POMDP问题，以及观测维度过高导致难以准确建模的MDP问题，学习状态粗粒化的表征被验证对强化学习策略的学习效率和任务表现具有显著提升，因此强化学习的世界模型往往需要学习一个低维的隐状态动力学。隐状态的世界模型可以表示为$T(z'|z,a)$，其中$z$表示粗粒化之后的隐状态（或者宏观状态），这一点和计算力学中的因果态具有一定相似之处。
世界模型与计算力学中斑图重构机器存在几点差异：
1. 强化学习世界模型中的状态转移包含动作，而在斑图重构机器中建模因果态的转移，不涉及智能体动作的建模。
2. 在世界模型的学习中，学习宏观状态粗粒化一方面需要考虑的点是状态转移的等价性（或可交换性），从$s$粗粒化的到$z$经过宏观动力学转移到下一时刻的宏观状态分布$P_1(z')$应该尽可能接近从$s$经过微观动力学转移到$s'$后再粗粒化的到的宏观状态分布$P_2(z')$，而斑图重构机器中状态的粗粒化不涉及决策任务相关信息，并且保留了微观层面的最大可预测性。
==参考文献==
==参考文献==