207
个编辑
更改
跳到导航
跳到搜索
第17行：
第17行： − + − 马尔科夫矩阵中每个元素都是一个条件概率，满足行归一化。将输入变量概率分布和矩阵直接相乘便得到输出变量的概率分布。因为有干预，所以EI的大小只和转移矩阵本身有关。已知马尔科夫概率转移矩阵，我们可以用下式计算EI。+ 第29行：
第29行： − +
→Markovian matrix 形式（TPM）
[[do算子]]的引入让EI这个指标与其他信息度量指标截然不同，关键在于它是且仅是动力学的函数，一方面这使得它比其他想要刻画因果的指标（比如[[转移熵]]）更能抓住因果概念的本质，另一方面它需要你能够已知或获取到动力学机制，这在只有观测数据的情况下造成了计算上的困难。
[[do算子]]的引入让EI这个指标与其他信息度量指标截然不同，关键在于它是且仅是动力学的函数，一方面这使得它比其他想要刻画因果的指标（比如[[转移熵]]）更能抓住因果概念的本质，另一方面它需要你能够已知或获取到动力学机制，这在只有观测数据的情况下造成了计算上的困难。
=Markovian matrix 形式（TPM）=
=Markovian matrix 形式（TPM）=
Erik Hoel进一步将EI应用在一个随机过程的背景下，输入变量为<math>X_t</math>，输出变量为<math>X_{t+1}</math>，在将<math>X_t</math>干预为最大熵分布时，计算二者之间的互信息。在离散情况下，最大熵分布即为均匀分布。因为这里的EI计算只关乎两个时刻，在干预的情况下更早的历史变量不起作用，所以Hoel假定该过程的动力学就是一个满足马尔科夫性的概率转移矩阵。下面给出几个马尔科夫概率转移矩阵的示例。
[[Erik Hoel]]进一步将EI应用在一个[[随机过程]]的背景下，输入变量为<math>X_t</math>，输出变量为<math>X_{t+1}</math>，在将<math>X_t</math>[[干预]]为[[最大熵分布]]时，计算二者之间的[[互信息]]。在离散情况下，[[最大熵分布]]即为[[均匀分布]]。因为这里的EI计算只关乎两个时刻，在[[干预]]的情况下更早的历史变量不起作用，所以Hoel假定该过程的动力学就是一个满足[[马尔科夫性]]的[[概率转移矩阵]]。下面给出几个马尔科夫概率转移矩阵的示例。
[[文件:TPM EI.png|804x804px|居中|几个概率转移矩阵的案例|替代=]]
[[文件:TPM EI.png|804x804px|居中|几个概率转移矩阵的案例|替代=]]
马尔科夫矩阵中每个元素都是一个条件概率，满足行归一化。将输入变量概率分布和矩阵直接相乘便得到输出变量的概率分布。因为有[[干预]]，所以EI的大小只和转移矩阵本身有关。已知马尔科夫概率转移矩阵，我们可以用下式计算EI。
<math>
<math>
</math>
</math>
其中N为状态数，<math>\tilde{x}_t,\tilde{x}_{t+1}</math>分别为把t时刻的输入干预为最大熵分布后前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。将矩阵每列求均值，可得到平均转移向量<math>\overline{P}</math>，每个分量便是<math>\overline{p}_j</math>。我们也可以用KL散度的方式来表达：EI是转移矩阵每个行转移向量与平均转移向量的KL散度的均值。
其中N为状态数，<math>\tilde{x}_t,\tilde{x}_{t+1}</math>分别为把t时刻的输入[[干预]]为[[最大熵分布]]后前后两个时刻的状态。<math>p_{ij}</math>为第i个状态转移到第j个状态的转移概率。将矩阵每列求均值，可得到平均转移向量<math>\overline{P}</math>，每个分量便是<math>\overline{p}_j</math>。我们也可以用[[KL散度]]的方式来表达：EI是转移矩阵每个行转移向量与平均转移向量的[[KL散度]]的均值。
=归一化=
=归一化=