5,443
个编辑
更改
跳到导航
跳到搜索
第98行：
第98行： + − 转移概率描述了状态之间的可达性大小，能否借助这种可达性对状态空间进行一种划分？首先，给出可达的严格定义。+ − <math>\exists n\geq 0,\ \ P_{ij}(n)>0</math>，则称状态<math>i</math>可达状态<math>j</math>，记为<math>i\to j</math>。易知，可达是传递关系，即+ − <math>i\to j,\ j\to k\Longrightarrow i\to k</math>。 + + + + + + − 进一步，若<math>i\to j</math>且<math>j\to i</math>，则称状态<math>i</math>和<math>j</math>互通，记为<math>i\leftrightarrow j</math>。易知，互通是一种等价关系。那么，可以将互通的状态归为一类，且任一状态仅属于一个类。特别的，若马尔科夫链中只存在一个类，则称它是'''不可约的（irreducible）'''；否则，称为是'''可约的（reducible）'''。+ − 下面用一个简单的例子来说明，下图中(a)和(b)分别为马尔科夫链的转移概率矩阵和图表示。+ + + + − [[文件:可约.png|无框]] − 容易看出，状态1和状态2是互通的，可被归为一类，而状态3只可达自身，所以状态3为另一个类，即此马尔科夫链是可约的。+
→可达、互通与可约性
===可达、互通与可约性===
===可达、互通与可约性===
下面举一个简单的例子具体观察状态间的转移行为，下图中(a)和(b)分别为马尔科夫链的转移概率矩阵和图表示。
[[文件:可约.png|无框]]
由Chapman-Kolmogorov方程，可得100步转移概率矩阵和200步转移概率矩阵为
<math>
\begin{aligned}
P(100)=\left(\begin{matrix}0&0.9&0.1\\0.8&0.2&0\\ 0&0&1 \end{matrix}\right)^n=\left(\begin{matrix}0.0041&0.0050&0.9909\\0.0044&0.0052&0.9904\\ 0&0&1 \end{matrix}\right),\ \ \ \
P(200)=\left(\begin{matrix}0&0.9&0.1\\0.8&0.2&0\\ 0&0&1 \end{matrix}\right)^n=\left(\begin{matrix}0&0&1\\0&0&1\\ 0&0&1 \end{matrix}\right)\\。
\end{aligned}
</math>
通过观察马尔科夫链的图表示可以发现，状态1和状态2之间存在互相到达的路径，但状态3与状态1和状态2之间均不能互相到达。此外，容易看出，随着转移步数的增加，对应的转移概率矩阵的第一行和第二行趋近一致，即状态1和状态2的转移行为近似一致，但与状态3的转移行为存在差异。那么，可以利用这种互相可达的特性来将相同转移行为的状态划分为一类，状态1和状态2是互通的，可被归为一类，而状态3只可达自身，所以状态3为另一个类，即此马尔科夫链是可约的。下面给出可达和互通的严格定义。
首先，需要明确可达的定义。图中的路径的权重是大于0的概率值，所以定义如下：
<math>\exists n\geq 0,\ \ P_{ij}(n)>0</math>，则称状态<math>i</math>可达状态<math>j</math>，记为<math>i\to j</math>。易知，可达是传递关系，即
<math>i\to j,\ j\to k\Longrightarrow i\to k</math>。
进一步，若<math>i\to j</math>且<math>j\to i</math>，则称状态<math>i</math>和<math>j</math>互通，记为<math>i\leftrightarrow j</math>。易知，互通是一种等价关系。那么，可以将互通的状态归为一类，且任一状态仅属于一个类。特别的，若马尔科夫链中只存在一个类，则称它是'''不可约的（irreducible）'''；否则，称为是'''可约的（reducible）'''。
===周期性===
===周期性===