更改

===定义===

===定义===

上面的几个例子都是时间和状态空间均为离散的数字，且系统都满足马尔科夫性质，也就是t+1时间步的状态只依赖于第t步的系统状态，则称这类随机过程为离散时间的马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：

上面的几个例子都是时间和状态空间均为离散的数字，且系统都满足马尔科夫性质，也就是<math>t+1</math>时间步的状态只依赖于第<math>t</math>步的系统状态，则称这类随机过程为离散时间的马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：

'''定义（马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''或具有马尔科夫性质，若满足：<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math>其中，<math>X_n=j\in S</math>表示过程在时刻<math>n</math>处于状态<math>j</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。

'''定义（马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''或具有马尔科夫性质，若满足：<math>\forall n,\ \ \mathbb{P}(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=\mathbb{P}(X_n=j|X_{n-1}=i),</math>其中，<math>X_n=j\in S</math>表示过程在时刻<math>n</math>处于状态<math>j</math>，称<math>\mathbb{P}(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=\mathbb{P}(X_n=j|X_m=i)</math>。

'''定义（连续时间马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''，若满足

'''定义（连续时间马尔可夫链）'''：称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''，若满足

<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。

<math>\forall n,\ 0=t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ \mathbb{P}(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=\mathbb{P}(X_{t_n}=j|X_{t_{n-1}}=i)</math>。