5,443
个编辑
更改
小第1行：
第1行： − 马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马尔可夫链，Markov chain）以及连续时间马尔可夫链。+ − + − + − + − 本词条将集中介绍离散时间马尔可夫链的内容。特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。+ 第44行：
第44行： − 讨论一下马尔可夫链各个状态之间的关系，+ 第54行：
第54行： − 那么，可以将互通的状态归为一类，且任一状态仅属于一个类。特别的，若马尔可夫链中只存在一个类，则称它是不可约的（irreducible）；否则，称为是可约的（reducible）。+ 第110行：
第110行： − +
无编辑摘要
==基本概念==
==基本概念==
===离散（或连续）时间马尔科夫链===
===离散（或连续）时间马尔科夫链===
马尔科夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔科夫过程，离散时间马尔科夫链（简称马尔科夫链，Markov chain）以及连续时间马尔科夫链。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔科夫链或具有马尔科夫性质，若满足
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔可夫链，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔科夫链，若满足
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i).</math>
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i).</math>
本词条将集中介绍离散时间马尔科夫链的内容。特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔科夫链为时齐马尔科夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔科夫链为非时齐的。下面主要讨论时齐马尔科夫链。
===转移概率矩阵===
===转移概率矩阵===
===状态分类===
===状态分类===
讨论一下马尔科夫链各个状态之间的关系，
那么，可以将互通的状态归为一类，且任一状态仅属于一个类。特别的，若马尔科夫链中只存在一个类，则称它是不可约的（irreducible）；否则，称为是可约的（reducible）。
==演化性质==
==演化性质==
所以，<math>1</math>也是<math>P^{\rm T}</math>的特征值。
所以，<math>1</math>也是<math>P^{\rm T}</math>的特征值。
注：即方程<math>\pi=\pi P</math>总有非零解，这与马尔可夫链是否有极限没有关系。
注：即方程<math>\pi=\pi P</math>总有非零解，这与马尔科夫链是否有极限没有关系。