3,094
个编辑
更改
→斑图重构机器与世界模型
===斑图重构机器与世界模型===
===斑图重构机器与世界模型===
计算力学中的斑图重构机器关心智能体是如何从观测到的时间序列数据中自动地发现因果态，并构建内在的环境模型的，这一点与强化学习领域中的世界模型（也被称为以及模型的强化学习）的想法不谋而合。
强化学习所解决的问题通常可以建模为马尔可夫决策过程（Markov Decision Process，缩写MDP），形式上可表示为<math>(S,A,T,R,\gamma)</math>,其中集合<math>S</math>为状态空间包含所有可能的状态，每个状态<math>s\in S</math>描述了系统在某一时刻的情形。集合<math>A</math>为动作空间，包含所有的动作。<math>T</math>为状态转移概率，<math>T(s'|s,a)</math>表示在状态<math>s</math>下执行动作<math>a</math>转移到<math>s'</math>的概率。奖励函数<math>R(s,a)</math>定义了在状态<math>s</math>采取动作<math>a</math>后获得的即时奖励，折扣因子<math>\gamma</math>是一个在 [0, 1] 之间的数，用于折扣未来奖励的影响。当智能体的观测<math>o</math>等于系统状态<math>s</math>时，对应一般的马尔可夫决策过程，当智能体无法直接观测到系统完整的状态时，问题可以描述为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process，缩写POMDP），POMDP可以描述为一个7元组<math>(S,A,T,R,\Omega,O,\gamma)</math>，<math>\Omega</math>表示观测空间，智能体的观测<math>o \in \Omega</math>，概率为<math>O(o|s',a)</math>。
强化学习所解决的问题通常可以建模为马尔可夫决策过程（Markov Decision Process，缩写MDP），形式上可表示为<math>(S,A,T,R,\gamma)</math>,其中集合<math>S</math>为状态空间包含所有可能的状态，每个状态<math>s\in S</math>描述了系统在某一时刻的情形。集合<math>A</math>为动作空间，包含所有的动作。<math>T</math>为状态转移概率，<math>T(s'|s,a)</math>表示在状态<math>s</math>下执行动作<math>a</math>转移到<math>s'</math>的概率。奖励函数<math>R(s,a)</math>定义了在状态<math>s</math>采取动作<math>a</math>后获得的即时奖励，折现因子<math>\gamma</math>是一个在 [0, 1] 之间的数，用于折扣未来奖励的影响。当智能体的观测<math>o</math>等于系统状态<math>s</math>时，对应一般的马尔可夫决策过程，当智能体无法直接观测到系统完整的状态时，问题可以描述为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process，缩写POMDP），POMDP可以描述为一个7元组<math>(S,A,T,R,\Omega,O,\gamma)</math>，<math>\Omega</math>表示观测空间，智能体的观测<math>o \in \Omega</math>，概率为<math>O(o|s',a)</math>。
在强化学习世界模型中，智能体根据和真实环境互动过程所产生的数据训练一个内嵌的世界模型，世界模型作为对真实环境的替代，从而可以通过和世界模型互动学习行动策略，减少和真实环境的互动。对于观测不包含完整的状态信息的POMDP问题，以及观测维度过高导致难以准确建模的MDP问题，人们通常让Agent去学习一个状态的粗粒化表征，这种方式可以帮助算法提升学习效率和任务表现。这种粗粒化表征就是所谓的“世界模型”。
因此，强化学习的世界模型往往需要学习一个低维的隐状态动力学。隐状态的世界模型可以表示为<math>T(z'|z,a)</math>，其中<math>z</math>表示粗粒化之后的隐状态（或者宏观状态），这一点和计算力学中的因果态，以及因果态的转移概率具有一定的相似之处。
世界模型与计算力学中斑图重构机器存在几点差异：
世界模型与计算力学中斑图重构机器存在几点差异：