5,443
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − 马尔科夫过程是一类特殊的随机过程，在给定当前状态下，对于未来状态的预测便不再依赖于过去状态。马尔科夫链是一种应用十分广泛的马尔科夫过程，能够用于描述天气变化和基因调控等现象。本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":1">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。+ + + + + + + 第5行：
第11行： − 下面介绍两种简单类型的马尔科夫过程，离散时间马尔科夫链（简称马尔科夫链，Markov chain）以及连续时间马尔科夫链。+ − + + + − + + + + 第23行：
第34行： + + + + + + + + 第34行：
第53行： − + +
无编辑摘要
首先，介绍一个经典的骰子游戏——Yahtzee。在游戏中共有5个六面均匀的骰子，游戏参与者至多有三次投掷机会。为了简化，此处假设目标是使得所有骰子的结果相同（称为获得Yahtzee）。具体规则是在第一次和第二次投掷后，可以仅重新投掷部分数量骰子，而保持其他骰子不动。例如，第一次投掷结果为11234，由于有两个1，可以保持对应的两个骰子不动，重新投掷234对应的三个骰子。<ref name=":1">http://www.stat.yale.edu/~pollard/Courses/251.spring2013/Handouts/Chang-MarkovChains.pdf</ref>
实际上，是否获得Yahtzee是看投掷结果中相同的骰子个数是否等于5。在每次投掷后，结果相同的骰子个数都是一个随机变量，其可能的取值均为0，1，2，3，4，5。只不过，后面一次投掷结果相同的骰子个数小于前面投掷结果相同的骰子个数发生的概率为0。在整个过程中，投掷结果相同的骰子个数在0-5六个数字间进行转移，所以称集合<math>\{0,1,2,3,4,5\}</math>为状态空间。此外，当投掷两次骰子后，分析第三次投掷结果中相同的骰子个数的发生概率，可以发现这个概率与第一次投掷结果中相同的骰子个数的发生概率无关。即在给定当前状态下，对于未来状态的预测不再依赖于过去状态。这个特性被称为马尔科夫特性，这一类特殊的随机过程被称为马尔科夫过程。
马尔科夫链是一种应用十分广泛的马尔科夫过程，能够用于描述天气变化和基因调控等现象。本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":2">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。
==基本概念==
==基本概念==
===离散（或连续）时间马尔科夫链===
===离散（或连续）时间马尔科夫链===
上述Yahtzee例子中，时间和状态空间均是离散的且满足马尔科夫性质，称这类随机过程为离散时间马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":2">Brémaud P．Markov chains: Gibbs fields, Monte Carlo simulation, and queues．Springer Science & Business Media, 1999, 53-156.</ref>或具有马尔科夫性质，若满足
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":3">Brémaud P．Markov chains: Gibbs fields, Monte Carlo simulation, and queues．Springer Science & Business Media, 1999, 53-156.</ref>或具有马尔科夫性质，若满足
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_1=x_1)=P(X_n=j|X_{n-1}=i),</math>
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
其中，<math>X_n=j</math>表示过程在时刻<math>n</math>处于状态<math>i</math>，称<math>P(X_n=j|X_{n-1}=i)</math>为马尔科夫链的一步转移概率，并引入记号<math>P_{ij}(m,n)=P(X_n=j|X_m=i)</math>。
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":3">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>
此外，当时间是连续的但状态空间仍是离散的且满足马尔科夫性质，称这类随机过程为连续时间马尔科夫链，具体定义为
称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_t,\ t\geq 0\}</math>是'''连续时间马尔科夫链'''<ref name=":4">Kendall D G, Batchelor G K, Bingham N H, Hayman W K, Hyland J M E, Lorentz G G, Moffatt H K, Parry W, Razborov A A, Robinson C A and Whittle P. Andrei Nikolaevich Kolmogorov (1903–1987). Bulletin of the London Mathematical Society, 1990, 22(1): 31-100.</ref>
，若满足
，若满足
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
<math>\forall n,\ 0\leq t_0<t_1<\ldots<t_{n-1}<t_{n},\ \ P(X_{t_n}=j|X_{t_{n-1}}=i,X_{t_{n-2}}=x_{t_{n-2}},\ldots,X_{t_{0}}=x_{t_{0}})=P(X_{t_n}=j|X_{t_{n-1}}=i)</math>。
===时齐性与非时齐性===
令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。
令今天为时刻<math>n=0</math>，为了方面描述，记<math>X_n</math>为时刻<math>n</math>的天气状态，今天不下雨的条件下明天不下雨的概率为<math>P(X_1=1|X_0=1)=p</math>，今天下雨的条件下明天下雨的概率为<math>P(X_1=2|X_0=2)=q</math>。而随着时间的推移，明天不下雨的条件下后天不下雨的概率<math>P(X_2=1|X_1=1)</math>可能不一定等于<math>p</math>，即一步转移概率可能不仅与状态有关，可能与时间有关。
在一个经典概率模型——波利亚坛子模型（Polya's urn scheme)中，一步转移概率就与时间有关。模型假设坛子中装有<math>b>0</math>个黑球和<math>w>0</math>个白球。每次随机地从坛子中有放回地抽出一个球，并且再放入一个同颜色的球。记<math>X_n</math>为第<math>n</math>次抽取后坛子中黑球的个数，则一步转移概率
<math>P(X_n=m+1|X_{n-1}=m)=\frac{m}{b+w+n-1},\ \ P(X_n=m|X_{n-1}=m)=\frac{b+w+n-1-m}{b+w+n-1}.</math>
显然，上述概率是随着<math>n</math>的变化而变化的。
<math>P_{ij}(m,n)=P_{ij}(n-m)</math>。
<math>P_{ij}(m,n)=P_{ij}(n-m)</math>。
===转移概率矩阵===
===一步转移概率矩阵===
将上述例子中一步转移概率<math>p_{ij}(i,j\in S)</math>排列为一个矩阵
将上述例子中一步转移概率<math>p_{ij}(i,j\in S)</math>排列为一个矩阵