更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
有效信息
(查看源代码)
2024年5月24日 (五) 20:40的版本
添加305字节
、
2024年5月24日 (星期五)
→Do形式及解释
第15行:
第15行:
原始的有效信息是定义在离散的马尔科夫链上的。然而,为了能够更广泛地应用,在这里我们探讨有效信息的更一般的形式。
原始的有效信息是定义在离散的马尔科夫链上的。然而,为了能够更广泛地应用,在这里我们探讨有效信息的更一般的形式。
−
考虑两个随机变量:[math]X[/math]和[math]Y[/math],分别代表因变量(Cause Variable)和果变量(Effect Variable),并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]
。同时,我们需要说明
[math]X[/math]
如何影响
[math]
Y
[/math]
的,这通常可以用因果机制
[math]
f
[/math]
进行描述。所谓的因果机制是指在给定
[math]X[/math]取值[math]x\in \mathcal{X}[/math]
下,
[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率:
+
考虑两个随机变量:[math]X[/math]和[math]Y[/math],分别代表因变量(Cause Variable)和果变量(Effect Variable),并且假定它们的取值区间分别是[math]\mathcal{X}[/math]和[math]\mathcal{Y}[/math]
。同时,
[math]X[/math]
是通过因果机制
[math]
f
[/math]
影响
[math]
Y
[/math]
的。所谓的因果机制是指在给定
[math]X[/math]取值[math]x\in \mathcal{X}[/math]
的情况下,
[math]Y[/math]在[math]\mathcal{Y}[/math]上任意取值[math]y\in \mathcal{Y}[/math]的条件概率:
+
+
<math>
<math>
f\equiv Pr(Y=y|X=x)
f\equiv Pr(Y=y|X=x)
</math>
</math>
+
则针对这个因果机制[math]f[/math],它所对应的有效信息EI的定义为:
则针对这个因果机制[math]f[/math],它所对应的有效信息EI的定义为:
第26行:
第29行:
</math>
</math>
−
这里,[math]do(X~U(\mathcal{X}))[/math]代表对[math]X[/math]实施do干预,使其服从[math]\mathcal{X}[/math]
上的均匀分布。
[math]\tilde{X}[/math]与[math]\tilde{Y}[/math]分别代表在经过[math]do[/math]干预后的[math]X[/math]和[math]Y[/math]
变量,并且在这个干预中,始终保持因果机制
[math]f[/math]
不变。这样:
+
这里,[math]do(X~U(\mathcal{X}))[/math]代表对[math]X[/math]实施do干预,使其服从[math]\mathcal{X}[/math]
上的均匀分布[math]U(\mathcal{X})[/math]。
[math]\tilde{X}[/math]与[math]\tilde{Y}[/math]分别代表在经过[math]do[/math]干预后的[math]X[/math]和[math]Y[/math]
变量,其中,
+
+
<math>
+
Pr(\tilde{X}=x)=\frac{1}{\#(\mathcal{X})},
+
</math>
+
+
这里,[math]\tilde{X}[/math]代表被[math]do[/math]干预后的[math]X[/math]变量,[math]\#(\mathcal{X})[/math]代表集合[math]\mathcal{X}[/math]的基数。对于有限元素集合来说,这就是集合中元素的个数。
+
+
在这个干预中,我们要始终保持因果机制
[math]f[/math]
不变,这就会导致[math]Y[/math]的概率分布发生变化,即被间接干预成为:
<math>
<math>
第32行:
第43行:
</math>
</math>
−
因此,所谓机制[math]f[/math]的有效信息EI,就是[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]的互信息。这里[math]\tilde{X}[/math]代表被[math]do[/math]干预后的[math]X[/math]变量,
[math]\tilde{Y}[/math]则代表,在保持因果机制[math]f[/math]不变的情况下,当[math]X[/math]被干预后,被间接改变分布的[math]Y[/math]变量。
+
其中,
[math]\tilde{Y}[/math]则代表,在保持因果机制[math]f[/math]不变的情况下,当[math]X[/math]被干预后,被间接改变分布的[math]Y[/math]变量。
+
因此,所谓机制[math]f[/math]的有效信息EI,就是[math]\tilde{X}[/math]和[math]\tilde{Y}[/math]的[[互信息]]。
Jake
712
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
帮助
工具
特殊页面
可打印版本