5,443
个编辑
更改
→周期性
===周期性===
===周期性===
不禁会提出一个疑问，是否所有的转移矩阵都具有极限？下面考察一个简单的两状态马尔科夫链，
<math>P=\begin{bmatrix}0&1\\1&0\end{bmatrix}</math>。
<math>P=\begin{bmatrix}0&1\\1&0\end{bmatrix}</math>。
计算<math>n</math>步转移概率矩阵
计算<math>n</math>步转移概率矩阵，得
<math>
<math>
\begin{aligned}
P(n)=\begin{cases}
\begin{bmatrix}0&1\\1&0\end{bmatrix},&n=2k,\ k\in\mathcal{Z},\\
\begin{bmatrix}1&0\\0&1\end{bmatrix},& n=2k+1,\ k\in\mathcal{Z}。
\end{aligned}
\end{cases}
</math>
</math>
根据<math>n</math>步转移概率矩阵可知，即四个转移概率均不存在极限。
根据<math>n</math>步转移概率矩阵可知，<math>P_{ii}(n)</math>序列为<math>0,1,0,1,\ldots</math>，<math>P_{ij}(n)</math>序列为<math>1,0,1,0\ldots</math>，四个转移概率均不存在极限，即转移矩阵没有极限。
不难发现这个马尔科夫链的状态转移存在着周期性——初始状态不论是状态1还是状态2，每转移2步，都能够以正概率返回自身状态，即周期为2。进一步，如果有任一状态能够以一定周期、正概率返回自身，转移矩阵则不存在极限，即状态的周期性成为了一个转移矩阵收敛的判断条件。下面介绍状态的周期性的严格定义：
记使得转移概率<math>P_{ii}(n)>0</math>的转移步数<math>n</math>所组成的集合为<math>A_i=\{n:n\geq1,P_{ii}(n)>0\}</math>。若<math>A_i</math>非空，则称其最大公约数为状态<math>i</math>的周期，记为<math>d_i</math>。若<math>d_i>1</math>，称<math>i</math>是'''周期的'''；若<math>d_i=1</math>，称<math>i</math>是'''非周期的'''。
回顾上节中三状态马尔科夫链，由于<math>P_{33}=1>P_{22}=0.2>0</math>，那么<math>A_{2}=A_{3}=\{1,2,\ldots\}</math>，所以它们都是非周期的。对于状态1，其与状态2互通且状态2一步可达自身，那么<math>A_{1}=\{2,3,\ldots\}</math>，所以状态1也是非周期的。可以看出，互通的状态1和状态2的周期性是相同的。实际上，可以通过严格证明得出，'''互通状态的周期是相同的'''，即周期性也是一个类性质。那么，互通的状态只需要判断其中任一状态的周期性即可，这大大减少了判断的次数。
<math>P_{ii}(m+n)\geq P_{ij}(m)P_{ji}(n)>0\Longrightarrow m+n\in A_i\Longrightarrow d_i|(m+n)</math>。