97
个编辑
更改
跳到导航
跳到搜索
第10行：
第10行： − − 第21行：
第19行： − + 第28行：
第26行： − − 第39行：
第35行： − +
无编辑摘要
# 有些状态的转移概率非常相似，所以可以被看成同一类状态，对这种马尔科夫链做partitioning可以减少系统表示的冗余性；
# 有些状态的转移概率非常相似，所以可以被看成同一类状态，对这种马尔科夫链做partitioning可以减少系统表示的冗余性；
# 在用到马尔科夫决策过程的强化学习里，对马尔科夫链做粗粒化可以减少状态空间的大小，提高训练效率。
# 在用到马尔科夫决策过程的强化学习里，对马尔科夫链做粗粒化可以减少状态空间的大小，提高训练效率。
马尔科夫链的粗粒化可以分成Hard partitioning和Soft partitioning。Hard partitioning是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而soft partitioning则会有可能出现这种情况。
马尔科夫链的粗粒化可以分成Hard partitioning和Soft partitioning。Hard partitioning是指把若干个微观状态分成一个宏观状态类，且一个微观状态不能同时属于多个宏观状态类，而soft partitioning则会有可能出现这种情况。
大家理解的线代里的rank秩的定义是看矩阵中的线性无关的行向量的数量，但是这里对秩的理解是从一种类似于信道的概念。
大家理解的线代里的rank秩的定义是看矩阵中的线性无关的行向量的数量，但是这里对秩的理解是从一种类似于信道的概念。
秩的定义为我们能找到的一组概率密度函数 [math]f_1, ... , f_r, g_1, ... , g_r[/math]，使得r在下列公式里最小。
秩的定义为我们能找到的一组概率密度函数 [math]f_1, ... , f_r, g_1, ... , g_r[/math]，使得r在下列公式里最小：
[math]
[math]
[/math]
[/math]
这里的秩的意思是，我们能多大程度上压缩信道，使得信息在宽度为秩的信道中无损传递。（笔者个人理解）
这里的秩的意思是，我们能多大程度上压缩信道，使得信息在宽度为秩的信道中无损传递。（笔者个人理解）
而且[math]$f_1, ... , f_r$[/math] 为 left Markov features，[math]\{g1, . . . , gr\}[/math] 为 right Markov features.
而且[math]$f_1, ... , f_r$[/math] 为 left Markov features，[math]\{g1, . . . , gr\}[/math] 为 right Markov features.
这个定义
（未完待续）
（未完待续）