2,767
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 马尔科夫链+ + + + + + + + + +
无编辑摘要
==基本概念==
===离散时间离散状态随机过程===
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
</math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
注：马尔可夫过程是不限于离散时间或离散状态的，此处重点研究离散时间且离散状态
特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。