5,443
个编辑
更改
跳到导航
跳到搜索
第47行：
第47行： − + 第70行：
第70行： − + 第86行：
第86行： − 第97行：
第96行： − + + + + + + + + + + + + + +
无编辑摘要
下面主要讨论离散时间时齐马尔科夫链。
下面主要讨论离散时间时齐马尔科夫链。
==转移过程==
===Chapman-Kolmogorov方程===
===Chapman-Kolmogorov方程===
由时齐性假设，记一步转移概率
由时齐性假设，记一步转移概率
===一步转移概率矩阵===
===转移概率矩阵===
观察上述方程容易发现，求和项的下角标为<math>ik</math>和<math>kj</math>，且是对<math>k</math>求和，这恰恰对应着矩阵乘法。
观察上述方程容易发现，求和项的下角标为<math>ik</math>和<math>kj</math>，且是对<math>k</math>求和，这恰恰对应着矩阵乘法。
其中，<math>P(n)</math>称为<math>n</math>步转移概率矩阵，<math>P</math>称为'''一步转移概率矩阵（transition probability matrix, TPM）'''，下面简称为转移概率矩阵。
其中，<math>P(n)</math>称为<math>n</math>步转移概率矩阵，<math>P</math>称为'''一步转移概率矩阵（transition probability matrix, TPM）'''，下面简称为转移概率矩阵。
通过观察可知，矩阵<math>P</math>满足如下性质
通过观察可知，矩阵<math>P</math>满足如下性质
一般的，称满足上述性质的矩阵为'''随机矩阵（stochastic matrix）'''。
一般的，称满足上述性质的矩阵为'''随机矩阵（stochastic matrix）'''。
==状态分类==
下面举一个简单的例子具体观察状态间的转移行为，下图中(a)和(b)分别为马尔科夫链的转移概率矩阵和图表示。
[[文件:可约.png|无框]]
由Chapman-Kolmogorov方程，可得100步转移概率矩阵和200步转移概率矩阵为
<math>
\begin{aligned}
P(100)=\left(\begin{matrix}0&0.9&0.1\\0.8&0.2&0\\ 0&0&1 \end{matrix}\right)^n=\left(\begin{matrix}0.0041&0.0050&0.9909\\0.0044&0.0052&0.9904\\ 0&0&1 \end{matrix}\right),\ \ \ \
P(200)=\left(\begin{matrix}0&0.9&0.1\\0.8&0.2&0\\ 0&0&1 \end{matrix}\right)^n=\left(\begin{matrix}0&0&1\\0&0&1\\ 0&0&1 \end{matrix}\right)\\
\end{aligned}
</math>
===可达、互通与可约性===
===可达、互通与可约性===
转移概率描述了状态之间的可达性大小，能否借助这种可达性对状态空间进行一种划分？首先，给出可达的严格定义。
转移概率描述了状态之间的可达性大小，能否借助这种可达性对状态空间进行一种划分？首先，给出可达的严格定义。