5,443
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马氏链，Markov chain）以及连续时间马尔可夫链。+ 第19行：
第19行： − + 第42行：
第42行： + + + + + + + + + + + + + + +
无编辑摘要
==基本概念==
==基本概念==
===离散（或连续）时间马尔科夫链===
===离散（或连续）时间马尔科夫链===
马尔可夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。下面介绍两种简单类型的马尔可夫过程，离散时间马尔可夫链（简称马尔可夫链，Markov chain）以及连续时间马尔可夫链。
===转移概率矩阵===
===转移概率矩阵===
由时齐性假设，记一步转移概率
由时齐性假设，记一步转移概率
<math>P(X_n=j|X_{n-1}=i)=p_{ij},</math>
<math>P(X_n=j|X_{n-1}=i)=p_{ij}.</math>
一般的，记<math>n-m</math>步转移概率
一般的，记<math>n-m</math>步转移概率
<math>P_{ij}(m,n)=P_{ij}(n-m).</math>
<math>P_{ij}(m,n)=P_{ij}(n-m).</math>
一般的，称满足上述性质的矩阵为随机矩阵（stochastic matrix）。
一般的，称满足上述性质的矩阵为随机矩阵（stochastic matrix）。
===状态分类===
讨论一下马尔可夫链各个状态之间的关系，
称状态<math>i</math>可达状态<math>j</math>：若<math>\exists n\geq 0,\ \ p_{ij}>(n)0.</math>，记为<math>i\to j.</math>易知，可达是传递关系，即
$$i\to j,\ j\to k\Longrightarrow i\to k.$$
进一步，若<math>i\to j</math>且<math>j\to i</math>，则称状态<math>i</math>和<math>j</math>互通，记为<math>i\leftrightarrow j</math>。易知，互通是一种等价关系。
那么，可以通过将互通的状态归为一类，且任一状态仅属于一个类。
特别的，若马尔可夫链中只存在一个类，则称它是不可约的（irreducible）；否则，称为是可约的（reducible）。
===演化过程===
===演化过程===