更改

特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。

特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。

转移概率矩阵

===转移概率矩阵===

由时齐性假设，记一步转移概率

由时齐性假设，记一步转移概率

<math>P(X_n=j|X_{n-1}=i)=p_{ij},</math>

<math>P(X_n=j|X_{n-1}=i)=p_{ij},</math>