5,443
个编辑
更改
跳到导航
跳到搜索
第163行：
第163行： − 不禁会提出一个疑问，是否是所有的转移矩阵都具有极限？下面考察一个简单的两状态马尔科夫链，+ − + − + − P(n)&=\begin{bmatrix}0&1\\1&0\end{bmatrix},\ \ n=2k,\ k\in\mathcal{Z},\\+ − P(n)&=\begin{bmatrix}1&0\\0&1\end{bmatrix},\ \ n=2k+1,\ k\in\mathcal{Z}.+ − + − + − 这个马尔科夫链存在着一个特性——<math>P_{ii}(n)</math>序列<math>0,1,0,1,\ldots</math>中数值大于0对应的转移步数为2，4，6，8等偶数，它们的公因子为2。将使得转移概率<math>P_{ii}(n)>0</math>的转移步数<math>n</math>所组成的集合记为<math>A_i=\{n:n\geq1,P_{ii}(n)>0\}</math>。若<math>A_i</math>非空，则称其最大公约数为状态<math>i</math>的周期，记为<math>d_i</math>。若<math>d_i>1</math>，称<math>i</math>是'''周期的'''；若<math>d_i=1</math>，称<math>i</math>是'''非周期的'''。在上节三状态的马尔科夫链中，由于<math>P_{33}=1>P_{22}=0.2>0</math>，那么<math>A_{2}=A_{3}=\{1,2,\ldots\}</math>，所以它们都是非周期的。对于状态1，其与状态2互通且状态2一步可达自身，那么<math>A_{1}=\{2,3,\ldots\}</math>，所以状态1也是非周期的。+ + − 进一步，可以通过严格证明得出，'''互通状态的周期是相同的'''。 − 证：不失一般性，假设<math>i\leftrightarrow j</math>，则<math>\exists m,\ P_{ij}(m)>0</math>及<math>\exists n,\ P_{ji}(n)>0</math>。那么，+ − − − − 另一方面，任取<math>k\in A_j</math>， − <math>P_{ii}(m+n+k)\geq P_{ij}(m)P_{jj}(k)P_{ji}(n)>0\Longrightarrow m+n+k\in A_i\Longrightarrow d_i|(m+n+k)</math>。 − − 综上，<math>d_i\Big|[(m+n+k)-(m+n)]\Longrightarrow d_i|k</math>， − 即<math>d_i</math>是<math>A_j</math>的公因子。 − − 由于一个集合的公因子一定整除其最大公因子，得<math>d_i|d_j</math>。同理，<math>d_j|d_i</math>。那么，<math>d_i=d_j</math>，证毕。
→周期性
===周期性===
===周期性===
不禁会提出一个疑问，是否所有的转移矩阵都具有极限？下面考察一个简单的两状态马尔科夫链，
<math>P=\begin{bmatrix}0&1\\1&0\end{bmatrix}</math>。
<math>P=\begin{bmatrix}0&1\\1&0\end{bmatrix}</math>。
计算<math>n</math>步转移概率矩阵
计算<math>n</math>步转移概率矩阵，得
<math>
<math>
\begin{aligned}
P(n)=\begin{cases}
\begin{bmatrix}0&1\\1&0\end{bmatrix},&n=2k,\ k\in\mathcal{Z},\\
\begin{bmatrix}1&0\\0&1\end{bmatrix},& n=2k+1,\ k\in\mathcal{Z}。
\end{aligned}
\end{cases}
</math>
</math>
根据<math>n</math>步转移概率矩阵可知，即四个转移概率均不存在极限。
根据<math>n</math>步转移概率矩阵可知，<math>P_{ii}(n)</math>序列为<math>0,1,0,1,\ldots</math>，<math>P_{ij}(n)</math>序列为<math>1,0,1,0\ldots</math>，四个转移概率均不存在极限，即转移矩阵没有极限。
不难发现这个马尔科夫链的状态转移存在着周期性——初始状态不论是状态1还是状态2，每转移2步，都能够以正概率返回自身状态，即周期为2。进一步，如果有任一状态能够以一定周期、正概率返回自身，转移矩阵则不存在极限，即状态的周期性成为了一个转移矩阵收敛的判断条件。下面介绍状态的周期性的严格定义：
记使得转移概率<math>P_{ii}(n)>0</math>的转移步数<math>n</math>所组成的集合为<math>A_i=\{n:n\geq1,P_{ii}(n)>0\}</math>。若<math>A_i</math>非空，则称其最大公约数为状态<math>i</math>的周期，记为<math>d_i</math>。若<math>d_i>1</math>，称<math>i</math>是'''周期的'''；若<math>d_i=1</math>，称<math>i</math>是'''非周期的'''。
回顾上节中三状态马尔科夫链，由于<math>P_{33}=1>P_{22}=0.2>0</math>，那么<math>A_{2}=A_{3}=\{1,2,\ldots\}</math>，所以它们都是非周期的。对于状态1，其与状态2互通且状态2一步可达自身，那么<math>A_{1}=\{2,3,\ldots\}</math>，所以状态1也是非周期的。可以看出，互通的状态1和状态2的周期性是相同的。实际上，可以通过严格证明得出，'''互通状态的周期是相同的'''，即周期性也是一个类性质。那么，互通的状态只需要判断其中任一状态的周期性即可，这大大减少了判断的次数。
<math>P_{ii}(m+n)\geq P_{ij}(m)P_{ji}(n)>0\Longrightarrow m+n\in A_i\Longrightarrow d_i|(m+n)</math>。