5,443
个编辑
更改
小第2行：
第2行： + 第8行：
第9行： +
无编辑摘要
===离散（或连续）时间马尔科夫链===
===离散（或连续）时间马尔科夫链===
马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马氏链，Markov chain）以及连续时间马尔可夫链。
马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马氏链，Markov chain）以及连续时间马尔可夫链。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是马尔可夫链或具有马尔可夫性质，若满足
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔可夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔可夫链，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是连续时间马尔可夫链，若满足