5,443
个编辑
更改
无编辑摘要
==基本概念==
==基本概念==
===离散时间离散状态随机过程===
===离散（或连续）时间马尔科夫链===
马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马氏链，Markov chain）以及连续时间马尔可夫链。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔可夫链，若满足
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i).</math>
本词条将集中介绍离散时间马尔可夫链的内容。特别的，当一步转移概率<math>P(X_n=j|X_{n-1}=i)</math>只与状态<math>i,j</math>有关，而与时刻<math>n</math>无关（平稳性假设），称此马尔可夫链为时齐马尔可夫链（homogeneous）；若<math>P(X_n=j|X_{n-1}=i)</math>不仅与状态<math>i,j</math>和时刻<math>n</math>均有关，则称此马尔可夫链为非时齐的。下面主要讨论时齐马尔可夫链。
===转移概率矩阵===
===转移概率矩阵===