5,443
个编辑
更改
无编辑摘要
实际上，是否获得Yahtzee是看投掷结果中相同的骰子个数是否等于5。每次投掷中结果相同的骰子个数都是一个随机变量，其可能的取值均为0，1，2，3，4，5。只不过，后面一次投掷结果相同的骰子个数小于前面投掷结果相同的骰子个数发生的概率为0。在整个过程中，投掷结果相同的骰子个数在0-5六个数字间进行转移，所以称集合<math>\{0,1,2,3,4,5\}</math>为'''状态空间'''。此外，当投掷两次骰子后，分析第三次投掷结果中相同的骰子个数的发生概率，可以发现这个概率与第一次投掷结果中相同的骰子个数的发生概率无关。即在给定当前状态下，对于未来状态的预测不再依赖于过去状态。这个特性被称为马尔科夫特性，这一类特殊的随机过程被称为马尔科夫过程。
下面主要讨论离散时间时齐马尔科夫链。
下面主要讨论离散时间时齐马尔科夫链。
===一步转移概率矩阵===
===Chapman-Kolmogorov方程===
由时齐性假设，记一步转移概率
由时齐性假设，记一步转移概率
<math>P(X_n=j|X_{n-1}=i)=p_{ij}</math>。
<math>P(X_n=j|X_{n-1}=i)=p_{ij}</math>。
一般的，记<math>n-m</math>步转移概率
一般的，记<math>n-m</math>步转移概率
<math>P_{ij}(m,n)=P_{ij}(n-m)</math>。
<math>P_{ij}(m,n)=P_{ij}(n-m)</math>。
那么，如何计算任意步转移概率？
回顾马尔科夫特性，即给定现在，过去与未来独立。那么，对于<math>n</math>步转移概率<math>P_{ij}(n)</math>，可以先给定某一中间时刻<math>0<m<n</math>的状态<math>k</math>，此时由独立性，从<math>i</math>先经<math>m</math>步至<math>k</math>，再经<math>n-m</math>步至<math>j</math>的概率就被分解为两部分概率的乘积。接下来，只需要遍历状态<math>k</math>的所有可能，就得到了<math>P_{ij}(n)</math>，即
<math>
\begin{aligned}
P_{ij}(n)&=P(X_n=j|X_0=i)=\sum_{k\in S}P(X_n=j,X_m=k|X_0=i)\\
&=\sum_{k\in S}P(X_n=j|X_m=k,X_0=i)P(X_m=k|X_0=i)\\
&=\sum_{k\in S}P(X_n=j|X_m=k)P(X_m=k|X_0=i)\\
&=\sum_{k\in S}P_{ik}(m)P_{kj}(n-m),
\end{aligned}
</math>
其中，<math>P_{ij}(n)=\sum_{k\in S}P_{ik}(m)P_{kj}(n-m)</math>称为'''Chapman-Kolmogorov方程'''。
===一步转移概率矩阵===
观察上述方程容易发现，求和项的下角标为<math>ik</math>和<math>kj</math>，且是对<math>k</math>求和，这恰恰对应着矩阵乘法。
将上述例子中一步转移概率<math>p_{ij}(i,j\in S)</math>排列为一个矩阵
<math>P=(p_{ij})_{i,j\in S}=\begin{bmatrix}
<math>P=(p_{ij})_{i,j\in S}=\begin{bmatrix}
p_{11}& p_{12}\\
p_{11}& p_{12}&\ldots\\
p_{21}& p_{22}\\
p_{21}& p_{22}&\ldots\\
\end{bmatrix}=\begin{bmatrix}
\vdots&\vdots&\ddots
\end{bmatrix},</math>
\end{bmatrix},</math>
那么，由Chapman-Kolmogorov方程，
<math>P(n)=P(n-1)P=\ldots=P^n,</math>
其中，<math>P(n)</math>称为<math>n</math>步转移概率矩阵，<math>P</math>称为'''一步转移概率矩阵（transition probability matrix, TPM）'''，下面简称为转移概率矩阵。