更改

跳到导航 跳到搜索

Effective Information (查看源代码)

2024年9月9日 (一) 11:43的版本

删除653字节 、 2024年9月9日 (星期一)
无编辑摘要
第236行： 第236行：  
==Determinism and Degeneracy==
 
==Determinism and Degeneracy==
 
===Decomposition of EI===
 
===Decomposition of EI===
−
根据公式{{EquationNote|1}}，我们发现，EI实际上可以被分解为两项，即：
+
From Equation (1), we see that EI can actually be decomposed into two terms:
 +
 
 +
EI=−⟨H(Pi​)⟩+H(Pˉ)
    
<math>
 
<math>
第244行： 第246行：  
</math>
 
</math>
   −
同样，在马尔科夫链的情景下，EI也可以做这样的分解：{{NumBlk|:|
+
Similarly, in the context of Markov chains, EI can be decomposed as:
 +
 
 +
EI=−⟨H(Pi​)⟩+H(Pˉ){{NumBlk|:|
 
<math>
 
<math>
 
\begin{aligned}
 
\begin{aligned}
第251行： 第255行：  
\end{aligned}
 
\end{aligned}
 
</math>
 
</math>
−
|{{EquationRef|tow_terms}}}}其中，第一项：[math]-\langle H(P_i)\rangle\equiv \frac{1}{N}\sum_{i=1}^N H(P_i)[/math]为每个行向量[math]P_i[/math]的负熵的平均值，它刻画了整个马尔科夫转移矩阵的'''确定性'''（determinism）；
+
|{{EquationRef|tow_terms}}}}Where the first term, [math] -\langle H(P_i) \rangle = \frac{1}{N}\sum_{i=1}^N H(P_i) [/math], represents the negative average entropy of each row vector [math]P_i[/math], which measures the ''determinism'' of the Markov transition matrix.
 +
 
 +
The second term, [math] H(\bar{P}) [/math], is the entropy of the average row vector, where [math]\bar{P} = \frac{1}{N}\sum_{i=1}^N P_i [/math], and it measures the ''non-degeneracy'' of the Markov transition matrix.
 +
===Determinism and Degeneracy===
 +
In the above definition, the determinism and non-degeneracy terms are negative. To prevent this, we redefine the determinism of a Markov chain transition matrix [math]P[/math] as:
   −
第二项：[math]H(\bar{P})[/math]为平均行向量的熵，其中[math]\bar{P}\equiv \frac{1}{N}\sum_{i=1}^N P_i [/math]为所有N个行向量的平均行向量，它刻画了整个马尔科夫转移矩阵的'''非简并性'''或'''非退化性'''(non-degeneracy)。
+
Determinism=−⟨H(Pi​)⟩+logN
−
===确定性与简并性===
  −
然而上述定义中的确定性项和非简并性都是负数，为此，我们重新定义一个马尔科夫链转移矩阵P的'''确定性'''为：
      
<math>
 
<math>
第261行： 第267行：  
</math>
 
</math>
   −
这一项是一个平均的[[负熵]]，为了防止其为负数，所以加上了[math]\log N[/math]<ref name="hoel_2013">{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>。Determinism能刻画整个转移矩阵的确定性：也就是说如果我们知道了系统当前时刻所处的状态，则我们能够推断出系统在下一时刻所处的状态的程度。为什么这么说呢？这是因为确定性这一项是所有行向量熵的平均值，再取一个负号。我们知道，当一个向量更靠近均匀分布的时候，它的熵就越大，相反，如果一个向量越靠近一个“独热”（one-hot）的向量，也就是这个向量中只有一个1，其它元素都是0，那么它的熵就越小。我们知道，马尔科夫概率转移矩阵的一个行向量的含义就代表系统从当前状态转移到各个不同状态的概率大小。那么，当平均的行向量负熵大的时候，也就是这个行向量的某一个单元概率为1，其它为0，这就意味着系统能够确定地转移到1对应的状态。
+
This term is an average negative entropy, where the addition of [math]\log N[/math] prevents it from being negative. ''Determinism'' quantifies the certainty in predicting the system's next state given its current state. The reason lies in the fact that when a vector is closer to a uniform distribution, its entropy is larger, and when it is closer to a "one-hot" vector (where one element is 1 and others are 0), its entropy is smaller. The row vectors of the Markov transition matrix indicate the probabilities of transitioning from the current state to various future states. When the average negative entropy of the row vectors is high, it means that one element of the row vector has a probability of 1 while others are 0, indicating that the system will definitely transition to a specific state.
   −
我们定义一个马尔科夫链转移矩阵P的'''简并性'''为：
+
We also define the degeneracy of a Markov chain transition matrix [math]P[/math] as: Degeneracy=H(Pˉ)+logN
    
<math>
 
<math>
第269行： 第275行：  
</math>
 
</math>
   −
这一项为简并性或叫退化性，为了防止其为负数，所以加上了[math]\log N[/math]<ref name="hoel_2013" />。这里的“简并性”的含义是：如果知道了系统的当前状态，能不能反推系统在上一时刻的状态的能力，如果可以推断，则这个马尔科夫矩阵的简并性就会比较低，也就是非简并的；而如果很难推断，则马尔科夫矩阵就是简并的，也即退化的。为什么“简并性”可以用平均行向量分布的负熵来刻画呢？这是因为，首先，当所有的P中的行向量都是彼此独立的独热向量，那么它们的平均分布就会非常接近于一个均匀分布，即[math]\bar{P}\approx (\frac{1}{N},\frac{1}{N},\cdots,\frac{1}{N})[/math]，这个时候，它的[[Shannon熵]]最大，即[math]\log N[/math]。而在此时，这个马尔科夫转移矩阵是一个'''可逆矩阵'''（由彼此独立的“独热”向量形成的全体彼此线性无关，因此矩阵满秩，因此是可逆的）。这也就意味着，我们从系统当前的状态，是可以推断出系统的上一时刻的状态的，所以这个马尔科夫转移矩阵是非简并的，计算出的简并度恰恰也为0；
+
This term measures ''degeneracy'' or ''non-degeneracy''. The more difficult it is to infer the previous state from the current state, the higher the degeneracy of the Markov matrix. Degeneracy can be described using the negative entropy of the average row vector. If the row vectors of [math]P[/math] are linearly independent "one-hot" vectors, the average distribution will approximate a uniform distribution, resulting in maximum Shannon entropy, i.e., [math]\log N[/math]. In this case, the Markov transition matrix is reversible, indicating that we can deduce the previous state from the current state. Therefore, this Markov matrix is non-degenerate, and the computed degeneracy is zero.
   −
其次，当P中的行向量都是相同的独热向量的时候，则平均向量也是一个独热的向量，而这种向量的[[熵]]是最小的。在此时，由于所有的上一时刻状态都会转移到行向量中1对应的状态，因此我们也就很难推断出当前这个状态是由哪一个上一步的状态转移过来的。因此，这种情形下的马尔科夫矩阵是简并的（或退化的），计算出来的简并度则恰恰是[math]\log N[/math]。
+
Conversely, when all row vectors of [math]P[/math] are identical, the average vector is also a "one-hot" vector with minimum entropy. In this case, it is challenging to infer the previous state from the current state, leading to a degenerate (or non-reversible) Markov matrix, with a computed degeneracy equal to [math]\log N[/math].
   −
对于更一般的情况，如果P中的行向量靠近一个彼此独立的独热行向量构成的矩阵，则P就越非简并，相反，如果行向量彼此相同且靠近同一个独热向量，则P就越简并。
+
In more general situations, if the row vectors of [math]P[/math] resemble a matrix formed by independent "one-hot" vectors, [math]P[/math] becomes less degenerate. On the other hand, if the row vectors are identical and close to a "one-hot" vector, [math]P[/math] becomes more degenerate.
−
===举例===
+
 
−
下面，我们以三个马尔科夫链为例，来考察它们的确定性和简并性
+
===Example===
 +
Below, we examine the determinism and degeneracy of three Markov chains.
 
{|
 
{|
−
|+马尔科夫链示例
+
|+Markov Chain Example
 
|-
 
|-
 
|<math>
 
|<math>
第305行： 第312行：  
|-
 
|-
 
|[math]\begin{aligned}&Det(P_1)=2\ bits,\\&Deg(P_1)=0\ bits,\\&EI(P_1)=2\ bits\end{aligned}[/math]||[math]\begin{aligned}&Det(P_2)=0.81\ bits,\\&Deg(P_2)=0\ bits,\\&EI(P_2)=0.81\ bits\end{aligned}[/math]||[math]\begin{aligned}&Det(P_3)=2\ bits,\\&Deg(P_3)=1.19\ bits,\\&EI(P_3)=0.81\ bits\end{aligned}[/math]
 
|[math]\begin{aligned}&Det(P_1)=2\ bits,\\&Deg(P_1)=0\ bits,\\&EI(P_1)=2\ bits\end{aligned}[/math]||[math]\begin{aligned}&Det(P_2)=0.81\ bits,\\&Deg(P_2)=0\ bits,\\&EI(P_2)=0.81\ bits\end{aligned}[/math]||[math]\begin{aligned}&Det(P_3)=2\ bits,\\&Deg(P_3)=1.19\ bits,\\&EI(P_3)=0.81\ bits\end{aligned}[/math]
−
|}第一个转移概率矩阵是一个置换排列矩阵（Permutation），它是可逆的，因此确定性最高，没有简并性，因而EI最大；第二个矩阵的前三个状态都会以1/3的概率跳转到彼此，因此确定性程度最低，而非简并，EI是0.81；第三个矩阵虽然也是确定性的矩阵，因而确定性最高，但是由于后三个状态都跳转到1，因此，从1状态不能推知它来自于哪个状态，因此简并性最高，最终的EI与第二个相同，仍然是0.81。
+
|}
−
===归一化的确定性与简并性===
+
 
−
在[[Erik Hoel]]等人的原始论文中<ref name="hoel_2013" />，作者们定义的确定性和简并性是以归一化的形式呈现的，也就是将确定性和简并性除以了一个与系统尺度有关的量。为了区分，我们将归一化的对应量称为确定性系数和简并性系数。
+
* The first transition probability matrix is a permutation matrix, which is invertible. It has the highest determinism and no degeneracy, leading to the maximum EI.
 +
* The second matrix has the first three states transitioning to one another with equal probability (1/3), resulting in the lowest determinism but non-degeneracy, with EI being 0.81.
 +
* The third matrix is deterministic but since three of the states transition to the first state, it's impossible to infer from state 1 which previous state led to it. Therefore, it has high degeneracy, and its EI is also 0.81, the same as the second.
 +
 
 +
===Normalized Determinism and Degeneracy===
 +
在[[Erik Hoel]]等人的原始论文中<ref name="hoel_2013">{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>，作者们定义的确定性和简并性是以归一化的形式呈现的，也就是将确定性和简并性除以了一个与系统尺度有关的量。为了区分，我们将归一化的对应量称为确定性系数和简并性系数。
    
具体地，[[Erik Hoel]]等人将归一化后的有效信息，即Eff进行分解，分别对应确定性系数（determinism coefficient）和简并性系数（degeneracy coefficient）。
 
具体地，[[Erik Hoel]]等人将归一化后的有效信息，即Eff进行分解，分别对应确定性系数（determinism coefficient）和简并性系数（degeneracy coefficient）。
第325行： 第337行：     
总之，确定性指的是，已知当前时刻状态概率分布，对未来可能状态的判断有多大的把握；而简并性指的是，已知当前的状态，追溯历史，我们能有多大确定性做出判断。如果有状态在动力学过程中发生简并，我们回溯历史时能运用的信息就会变少。当一个系统背后的动力学确定性高，同时简并性低时，说明这是一个具有明显因果效应的动力学。
 
总之，确定性指的是，已知当前时刻状态概率分布，对未来可能状态的判断有多大的把握；而简并性指的是，已知当前的状态，追溯历史，我们能有多大确定性做出判断。如果有状态在动力学过程中发生简并，我们回溯历史时能运用的信息就会变少。当一个系统背后的动力学确定性高，同时简并性低时，说明这是一个具有明显因果效应的动力学。
 +
 
==EI的函数性质==
 
==EI的函数性质==
 
由公式{{EquationNote|2}}可以看出，在概率转移矩阵P上，EI是关于矩阵中每一个元素（从某一状态到另一状态的条件概率）的函数，于是我们自然会问：这样一个函数具有哪些数学性质？如它有没有极值点？极值点在哪里？凸性如何？最大值和最小值又是多少？
 
由公式{{EquationNote|2}}可以看出，在概率转移矩阵P上，EI是关于矩阵中每一个元素（从某一状态到另一状态的条件概率）的函数，于是我们自然会问：这样一个函数具有哪些数学性质？如它有没有极值点？极值点在哪里？凸性如何？最大值和最小值又是多少？
相信未来
1,117

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/37618”

导航菜单