更改

前面的讨论都沿着时间正向在讨论，下面考虑时间反向的过程。

前面的讨论都沿着时间正向在讨论，下面考虑时间反向的过程。

考察有限状态空间上不可约、非周期的马尔科夫链，其唯一的平稳分布为<math>\pi</math>。假设稳态开始时间为<math>n</math>，如果将时间反向，有

<math>P(X_n=j|X_{n+1}=i,X_{n+2},\ldots)=

=\frac{P(X_n=j)P(X_{n+1}=i|X_n=j)}{P(X_{n+1}=i)}</math>,

<math>P(X_n=j|X_{n+1}=i,X_{n+2},\ldots)=

\frac{P(X_n=j)P(X_{n+1}=i|X_n=j)P(X_{n+2},\ldots|X_{n+1}=i,X_n=j)}{P(X_{n+1}=i)P(X_{n+2},\ldots|X_{n+1}=i)}=

 

\frac{P(X_n=j)P(X_{n+1}=i|X_n=j)}{P(X_{n+1}=i)}=\frac{\pi_jp_{ji}}{\pi_i}=

 

P(X_n=j|X_{n+1}=i)\triangleq q_{ij}</math>。

考察有限状态空间上不可约、非周期的马尔科夫链，其唯一的平稳分布为<math>\pi</math>。假设稳态开始时间为<math>n</math>，有

 

<math>P(X_n=j|X_{n+1}=i,X_{n+2},\ldots)

=\frac{P(X_n=j)P(X_{n+1}=i|X_n=j)}{P(X_{n+1}=i)}=\frac{\pi_jp_{ji}}{\pi_i}\triangleq q_{ij}</math>。

即反向过程仍满足马尔科夫性质。此时，对于任意的<math>j</math>，有<math>\sum_j q_{ij}=\frac{\sum\pi_j p_{ji}}{\pi_i}=\frac{\pi}{\pi}=1</math>。

此时，对于任意的<math>j</math>，有<math>\sum_j q_{ij}=\frac{\sum\pi_j p_{ji}}{\pi_i}=\frac{\pi}{\pi}=1</math>。

考虑一种特殊情形，若<math>q_{ij}=p_{ij}</math>，即对于任意的状态<math>i,j</math>，满足<math>\pi_i p_{ij}=\pi_jp_{ji}</math>。此时，称马尔科夫链满足细致平衡条件，也称该马尔科夫链是时间可逆的。

进一步，考虑一种特殊情形，若<math>q_{ij}=p_{ij}</math>，即对于任意的状态<math>i,j</math>，满足<math>\pi_i p_{ij}=\pi_jp_{ji}</math>。此时，称马尔科夫链满足细致平衡条件，也称该马尔科夫链是时间可逆的。

注：<math>\pi_i p_{ij}</math>可以理解为状态<math>i</math>向状态<math>j</math>的输送，同理，<math>\pi_jp_{ji}</math>可以理解为状态<math>j</math>向状态<math>i</math>的输送。细致平衡条件可以理解为任意的状态<math>i</math>与状态<math>j</math>之间的相互输送是相同的。

注：<math>\pi_i p_{ij}</math>可以理解为状态<math>i</math>向状态<math>j</math>的输送，同理，<math>\pi_jp_{ji}</math>可以理解为状态<math>j</math>向状态<math>i</math>的输送。细致平衡条件可以理解为任意的状态<math>i</math>与状态<math>j</math>之间的相互输送是相同的。