697
个编辑
更改
→基于有效信息的因果效应度量
== 基于有效信息的因果效应度量 ==
== 基于有效信息的因果效应度量 ==
有效信息（Effective Information，简称EI）这个概念最早由[[Giulio Tononi]]等人在2003年提出<ref name=tononi_2003>{{cite journal |last1=Tononi|first1=G.|last2=Sporns|first2=O.|title=Measuring information integration|journal=BMC Neuroscience|volume=4 |issue=31 |year=2003|url=https://doi.org/10.1186/1471-2202-4-31}}</ref>，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统便具备很高的整合程度，而有效信息：EI，便是用来度量这种因果关联程度的关键指标。到了2013年，[[Giulio Tononi]]的学生[[Erik Hoel]]等人将有效信息这个概念进一步提炼出来，用来度量马尔科夫动力学的因果效应强度，并提出了[[因果涌现]]理论<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标<ref name="pearl_causality">{{cite book|title=因果论——模型、推理和推断|author1=Judea Pearl|author2=刘礼|author3=杨矫云|author4=廖军|author5=李廉|publisher=机械工业出版社|year=2022|month=4}}</ref>，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果效应。
有效信息（Effective Information，简称EI）这个概念最早由[[Giulio Tononi]]等人在2003年提出<ref name=tononi_2003>{{cite journal |last1=Tononi|first1=G.|last2=Sporns|first2=O.|title=Measuring information integration|journal=BMC Neuroscience|volume=4 |issue=31 |year=2003|url=https://doi.org/10.1186/1471-2202-4-31}}</ref>，作为[[整合信息论]]中的一个关键指标。当一个系统各个组分之间具有很强的因果关联的时候，可以说这个系统便具备很高的整合程度，而有效信息：EI，便是用来度量这种因果关联程度的关键指标。到了2013年，[[Giulio Tononi]]的学生[[Erik Hoel]]等人将有效信息这个概念进一步提炼出来，用来度量马尔科夫动力学的因果效应强度，并提出了[[因果涌现]]理论<ref name=hoel_2013>{{cite journal|last1=Hoel|first1=Erik P.|last2=Albantakis|first2=L.|last3=Tononi|first3=G.|title=Quantifying causal emergence shows that macro can beat micro|journal=Proceedings of the National Academy of Sciences|volume=110|issue=49|page=19790–19795|year=2013|url=https://doi.org/10.1073/pnas.1314922110}}</ref>。在这个理论中，Hoel使用了[[Judea Pearl]]的[[do算子]]来改造一般的[[互信息]]指标<ref name="pearl_causality">{{cite book|title=因果论——模型、推理和推断|author1=Judea Pearl|author2=刘礼|author3=杨矫云|author4=廖军|author5=李廉|publisher=机械工业出版社|year=2022|month=4}}</ref>，这使得EI本质上与[[互信息]]不同。[[互信息]]度量的是相关性，而有效信息因为引入了[[do算子]]，从而可以度量因果效应。
===形式定义===
考虑两个随机变量：[math]X[/math]和[math]Y[/math]，分别代表因变量（Cause Variable）和果变量（Effect Variable），并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]。则[math]X[/math]到[math]Y[/math]的有效信息EI的定义为：
<math>
EI\equiv I(X:Y|do(X\sim U(\mathcal{X})))\equiv I(\tilde{X}:\tilde{Y})
</math>
这里，[math]do(X\sim U(\mathcal{X}))[/math]代表对[math]X[/math]实施[[do干预]](或称[[do操作]]，英文是do-operator），使其服从[math]\mathcal{X}[/math]上的均匀分布[math]U(\mathcal{X})[/math]，也即是[[最大熵分布]]。[math]\tilde{X}[/math]与[math]\tilde{Y}[/math]分别代表在经过[math]do[/math]干预后的[math]X[/math]和[math]Y[/math]变量，其中，
<math>
Pr(\tilde{X}=x)=\frac{1}{\#(\mathcal{X})},
</math>
也就是，经过干预后的变量[math]\tilde{X}[/math]与干预前的变量[math]X[/math]之间的最大区别就在于分布不同：[math]\tilde{X}[/math]服从[math]\mathcal{X}[/math]上的均匀分布，而[math]X[/math]则可能是任意的分布。这里[math]\#(\mathcal{X})[/math]代表集合[math]\mathcal{X}[/math]的基数。对于有限元素集合来说，这就是集合中元素的个数。
按照[[Judea Pearl]]的理论，do算子实际上是切断了所有指向[math]X[/math]变量的因果箭头，同时保持其它因素，特别是从[math]X[/math]到[math]Y[/math]的因果机制保持不变。所谓的[[因果机制]]是指在给定[math]X[/math]取值[math]x\in \mathcal{X}[/math]的情况下，[math]Y[/math]在[math]\mathcal{Y}[/math]上取任意值[math]y\in \mathcal{Y}[/math]的条件概率：
<math>
f\equiv Pr(Y=y|X=x)
</math>
在干预中，我们要始终保持则这个[[因果机制]][math]f[/math]保持不变。当没有其它变量影响的时候，这就会导致，[math]Y[/math]的概率分布会跟着发生变化，即被间接干预成为：
<math>
Pr(\tilde{Y}=y)=\sum_{x\in \mathcal{X}}Pr(X=x) Pr(Y=y|X=x)=\sum_{x\in \mathcal{X}} \frac{Pr(Y=y|X=x)}{\#(\mathcal{X})}.
</math>
其中，[math]\tilde{Y}[/math]则代表：在保持因果机制[math]f[/math]不变的情况下，[math]Y[/math]变量被[math]X[/math]的do干预所间接改变了的Y变量，这种变化主要体现在概率分布的变化上。
因此，所谓一个因果机制[math]f[/math]的有效信息EI，就是被干预后的因变量[math]\tilde{X}[/math]和果变量[math]\tilde{Y}[/math]之间的[[互信息]]。
===有效性===
根据[[Erik Hoel]]等人在文章<ref name=hoel_2013>中的描述，EI的大小和状态空间大小有关，这一性质在我们比较不同尺度的[[马尔科夫链]]的时候非常不方便，我们需要一个尽可能不受尺度效应影响的因果效应度量。因此，我们需要对有效信息EI做一个归一化处理，得到和系统尺寸无关的一个量化指标。
根据[[Erik Hoel]]和[[Tononi]]等人的工作，要用[[均匀分布]]即[[最大熵分布]]下的熵值，即<math>\log N</math>来做分母对EI进行归一化，这里的[math]N[/math]为状态空间[math]\mathcal{X}[/math]中的状态的数量<ref name=hoel_2013 />。那么归一化后的EI便等于：
<math>
Eff=\frac{EI}{\log N}
</math>
进一步定义归一化指标也称为'''有效性'''（effectiveness）。
== 参考文献 ==
== 参考文献 ==