马尔科夫链

基本概念

离散时间离散状态随机过程

称状态空间[math]\displaystyle{ S=\{1,2,\ldots\} }[/math]上的随机过程[math]\displaystyle{ \{X_n,\ n=0,1,2,\ldots\} }[/math]是马尔可夫链或具有马尔可夫性质，若满足

</math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>

其中，[math]\displaystyle{ X_n=j }[/math]表示过程在时刻[math]\displaystyle{ n }[/math]处于状态[math]\displaystyle{ i }[/math]，称[math]\displaystyle{ P(X_n=j|X_{n-1}=i) }[/math]为马尔可夫链的一步转移概率，并引入记号[math]\displaystyle{ P_{ij}(m,n)=P(X_n=j|X_m=i) }[/math]。

注：马尔可夫过程是不限于离散时间或离散状态的，此处重点研究离散时间且离散状态

特别的，当一步转移概率[math]\displaystyle{ P(X_n=j|X_{n-1}=i) }[/math]只与状态[math]\displaystyle{ i,j }[/math]有关，而与时刻[math]\displaystyle{ n }[/math]无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若[math]\displaystyle{ P(X_n=j|X_{n-1}=i) }[/math]不仅与状态[math]\displaystyle{ i,j }[/math]和时刻[math]\displaystyle{ n }[/math]均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。