更改

实际上，是否获得Yahtzee是看投掷结果中相同的骰子个数是否等于5。每次投掷中结果相同的骰子个数都是一个随机变量，其可能的取值均为0，1，2，3，4，5。只不过，后面一次投掷结果相同的骰子个数小于前面投掷结果相同的骰子个数发生的概率为0。在整个过程中，投掷结果相同的骰子个数在0-5六个数字间进行转移，所以称集合<math>\{0,1,2,3,4,5\}</math>为'''状态空间'''。此外，当投掷两次骰子后，分析第三次投掷结果中相同的骰子个数的发生概率，可以发现这个概率与第一次投掷结果中相同的骰子个数的发生概率无关。即在给定当前状态下，对于未来状态的预测不再依赖于过去状态。这个特性被称为马尔科夫特性，这一类特殊的随机过程被称为马尔科夫过程。

本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":1">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>以及清华大学张颢老师的书籍《随机过程及其应用》<ref name=":2">陆大金，张颢. 随机过程及其应用, 清华出版社，2012, 176-255.</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。

马尔科夫链是一种应用十分广泛的马尔科夫过程，能够用于描述天气变化和基因调控等现象。本词条主要参考北京大学李东风老师的应用随机过程讲义<ref name=":2">李东风. 应用随机过程, 2024, 163-215. https://www.math.pku.edu.cn/teachers/lidf/course/stochproc/stochprocnotes/html/_book/StocProc.pdf</ref>以及清华大学张颢老师的书籍《随机过程及其应用》<ref name=":3">陆大金，张颢. 随机过程及其应用, 清华出版社，2012, 176-255.</ref>对相关基础概念进行梳理，为后续相关应用做铺垫。

首先，介绍一个经典的骰子游戏——Yahtzee。在游戏中共有5个六面均匀的骰子，游戏参与者至多有三次投掷机会。为了简化，此处假设目标是使得所有骰子的结果相同（称为获得Yahtzee）。具体规则是在第一次和第二次投掷后，可以仅重新投掷部分数量骰子，而保持其他骰子不动。例如，第一次投掷结果为11234，由于有两个1，可以保持对应的两个骰子不动，重新投掷234对应的三个骰子。<ref name=":3">http://www.stat.yale.edu/~pollard/Courses/251.spring2013/Handouts/Chang-MarkovChains.pdf</ref>

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":4">Brémaud P．Markov chains: Gibbs fields, Monte Carlo simulation, and queues．Springer Science & Business Media, 1999, 53-156.</ref>或具有马尔科夫性质，若满足

 

称状态空间<math>S=\{1,2,\ldots\}</math>上的随机过程<math>\{X_n,\ n=0,1,2,\ldots\}</math>是'''马尔科夫链'''<ref name=":4">Markov A A．Rasprostranenie zakona bol’shih chisel na velichiny, zavisyaschie drug ot druga．Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 1906, 15: 135-156.</ref>或具有马尔科夫性质，若满足

<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math>

<math>\forall n,\ \ P(X_n=j|X_{n-1}=i,X_{n-2}=x_{n-2},\ldots,X_0=x_0)=P(X_n=j|X_{n-1}=i),</math>