2,767
个编辑
更改
跳到导航
跳到搜索
第10行：
第10行： + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。
特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。
转移概率矩阵
由时齐性假设，记一步转移概率
<math>P(X_n=j|X_{n-1}=i)=p_{ij},</math>
一般的，记<math>n-m</math>步转移概率
<math>P_{ij}(m,n)=P_{ij}(n-m).</math>
将<math>p_{ij}</math>排列为一个矩阵
<math>P=(p_{ij})_{i,j\in S}=\begin{bmatrix}
p_{11}& p_{12}&\ldots\\
p_{21}& p_{22}&\ldots\\
\vdots& \vdots&\ddots\\
\end{bmatrix}</math>
称<math>P</math>为一步转移概率矩阵（transition probability matrix, TPM）。
通过观察可知，矩阵<math>P</math>满足如下性质
<math>\begin{aligned}
p_{ij}&\geq0,\ \forall\ i,j\in S,\\
\sum_{j\in S}p_{ij}&=1,\ \forall\ i\in S.
\end{aligned}</math>
一般的，称满足上述性质的矩阵为随机矩阵（stochastic matrix）。