812
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： − + − 所以，我们能看出<math>R</math>是一个对状态空间<math>S</math>的降维函数（得到<math>S'</math>）。而且，我们还需要把<math>T</math>降维成<math>T'</math>。如果<math>T:s_{t+1} = s_{t} P</math>，<math>P</math>为离散马尔科夫矩阵的话，这个针对马尔科夫矩阵的降维可以表示为+ + + + + + + + + + + + + + 第84行：
第97行： − −
→粗粒化
多数文献中会出现如图1的定义<ref name=":2">Coarse graining. ''Encyclopedia of Mathematics.'' URL: <nowiki>http://encyclopediaofmath.org/index.php?title=Coarse_graining&oldid=16170</nowiki></ref>：
多数文献中会出现如图1的定义<ref name=":2">Coarse graining. ''Encyclopedia of Mathematics.'' URL: <nowiki>http://encyclopediaofmath.org/index.php?title=Coarse_graining&oldid=16170</nowiki></ref>：
[[文件:马尔科夫链粗粒化定义.png|替代=|缩略图|图1：粗粒化定义]]
[[文件:马尔科夫链粗粒化定义.png|替代=|缩略图|图1：粗粒化定义]]
对状态空间<math>S</math>和转移函数<math>T(t):S \rightarrow S</math>，我们需要一个投影矩阵<math>R:S \rightarrow S'</math>，和一个新的转移函数<math>T'(t):S' \rightarrow S'</math>，而且<math>S'</math>和<math>T'</math>要符合马尔科夫链定义。
对状态空间<math>S</math>和转移函数<math>T(t):S \rightarrow S</math>，我们需要一个投影函数<math>R:S \rightarrow S'</math>，和一个新的转移函数<math>T'(t):S' \rightarrow S'</math>，而且<math>S'</math>和<math>T'</math>要符合马尔科夫链定义。
我们能看出<math>R</math>是一个对状态空间<math>S</math>的分组函数（得到<math>S'</math>）。而且，我们还需要把<math>T</math>降维成<math>T'</math>。
如果我们对这个降维/粗粒化过程进行分解的话，我们可以看到这个过程可以被分为三步。
# 对状态进行分组，决定<math>S</math>空间中的状态要如何被投影到<math>S'</math>空间上，也就是得出R。
# 基于分组函数<math>R</math>，我们要决定如何把原来的状态转移矩阵<math>T</math>降维成新的<math>T'</math>。
# 判断粗粒化方案<math>R</math>和<math>T'</math>符合什么样的性质。
如果<math>T:s_{t+1} = s_{t} P</math>，<math>P</math>为离散马尔科夫矩阵的话，这个针对马尔科夫矩阵的降维可以表示为
{{NumBlk|:|
{{NumBlk|:|
在这个词条里，我们主要讨论Hard partitioning，主要参考的是<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref><ref name=":3" />，对Soft state aggregation感兴趣的朋友可以自行参阅S. P. Singh, T. Jaakkola, and M. I. Jordan, “Reinforcement learning with soft state aggregation"<ref>Singh, Satinder, Tommi Jaakkola, and Michael Jordan. "Reinforcement learning with soft state aggregation." ''Advances in neural information processing systems'' 7 (1994).</ref>和Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).<ref>Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).</ref>
在这个词条里，我们主要讨论Hard partitioning，主要参考的是<ref name=":0">Zhang, Anru, and Mengdi Wang. "Spectral state compression of markov processes." ''IEEE transactions on information theory'' 66.5 (2019): 3202-3231.</ref><ref name=":3" />，对Soft state aggregation感兴趣的朋友可以自行参阅S. P. Singh, T. Jaakkola, and M. I. Jordan, “Reinforcement learning with soft state aggregation"<ref>Singh, Satinder, Tommi Jaakkola, and Michael Jordan. "Reinforcement learning with soft state aggregation." ''Advances in neural information processing systems'' 7 (1994).</ref>和Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).<ref>Duan, Yaqi, Tracy Ke, and Mengdi Wang. "State aggregation learning from markov transition data." ''Advances in Neural Information Processing Systems'' 32 (2019).</ref>
=Lumpability=
=Lumpability=