5,443
个编辑
更改
跳到导航
跳到搜索
第2行：
第2行： − − ==== 信息熵与互信息 ==== − − 在信息论中，随机变量的'''熵'''（entropy，又称'''信息熵'''、'''信源熵'''、'''平均自信息量'''）量化了变量的不确定性。考虑到变量所有潜在状态的概率分布，该指标衡量了描述变量状态所需的预期信息量。 − − [[文件:Mutual_Info.png|替代=|无框]] − − 给定一个离散随机变量 <math>X</math>，其取值于集合 <math>\mathcal{X}</math>，且服从 <math>p\colon \mathcal{X}\to[0, 1]</math> 分布，则熵为 <math display="block">\Eta(X) := -\sum_{x \in \mathcal{X}} p(x) \log p(x),</math> 其中 <math>\Sigma</math> 表示变量可能值的总和。<math>\log</math> 的底数通常采用2（比特，bit）。 − − 与熵紧密相关的是'''互信息'''（mutual Information，MI）。对于两个随机变量，互信息度量了两者间相互依赖的程度（成对关系）。具体来说，互信息测量了一个随机变量由于已知另一个随机变量而减少的“信息量”。离散随机变量<math>X</math>和 <math>Y</math>的互信息可以计算为： − − <math> \operatorname{I}(X; Y) = \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X} − { P_{(X,Y)}(x, y) \log\left(\frac{P_{(X,Y)}(x, y)}{P_X(x)\,P_Y(y)}\right) }</math> − − 其中 <math>P_{(X,Y)}</math> 是 <math>X</math> 和 <math>Y</math> 的联合概率函数，并且<math>P_X</math> 和 <math>P_Y</math> 分别是 <math>X</math> 和 <math>Y</math> 的边际概率质量函数。 第43行：
第28行： − − '''(如果该部分内容较多，可删除以下内容）'''部分信息分解的具体计算方法目前仍没有普遍的共识，学界有非常多的计算定义被提出。下表总结了目前常见方法在不同案例下的计算结果差异(以冗余信息<math>Red(X_1,X_2;Y)</math>为例）: − − {| class="wikitable" − |+ − !<math>目标变量</math> − !<math>I_{\cap}^* </math><ref>Artemy Kolchinsky. A novel approach to the partial information decomposition. Entropy, 24(3):403, 2022.</ref> − !<math>I_{\cap}^{\text{WB}}</math><ref>Paul L Williams and Randall D Beer. Nonnegative decomposition of multivariate information. arXiv preprint arXiv:1004.2515, 2010.</ref> − !<math>I_{\cap}^{\text{MMI}}</math><ref>Adam B Barrett. Exploration of synergistic and redundant information sharing in static and dynamical gaussian systems. Physical Review E, 91(5):052802, − 2015.</ref> − !<math>I_{\cap}^{\wedge}</math><ref>Virgil Griffith, Edwin KP Chong, Ryan G James, Christopher J Ellison, and James P Crutchfield. Intersection information based on common randomness. − Entropy, 16(4):1985–2000, 2014.</ref> − !<math>I_{\cap}^{\text{GH}}</math><ref>Virgil Griffith and Tracey Ho. Quantifying redundant information in predicting a target random variable. Entropy, 17(7):4644–4653, 2015.</ref> − !<math>I_{\cap}^{\text{Ince}}</math><ref>Robin AA Ince. Measuring multivariate redundant information with pointwise common change in surprisal. Entropy, 19(7):318, 2017.</ref> − !<math>I_{\cap}^{\text{FL}}</math><ref>Conor Finn and Joseph T Lizier. Pointwise partial information decompositionusing the specificity and ambiguity lattices. Entropy, 20(4):297, 2018. − </ref> − !<math>I_{\cap}^{\text{BROJA}}</math><ref>Nils Bertschinger, Johannes Rauh, Eckehard Olbrich, Jürgen Jost, and Nihat Ay. Quantifying unique information. Entropy, 16(4):2161–2183, 2014.</ref> − !<math>I_{\cap}^{\text{Harder}}</math><ref>Malte Harder, Christoph Salge, and Daniel Polani. Bivariate measure of redundant information. Physical Review E, 87(1):012130, 2013.</ref> − !<math>I_{\cap}^{\text{dep}}</math><ref>Ryan G James, Jeffrey Emenheiser, and James P Crutchfield. Unique information via dependency constraints. Journal of Physics A: Mathematical and − Theoretical, 52(1):014002, 2018.</ref> − !<math>I_{\cap}^{\text{Exp}}</math><ref>Lyu, Aobo, Andrew Clark, and Netanel Raviv. "Explicit Formula for Partial Information Decomposition." arXiv preprint arXiv:2402.03554 (2024).</ref> − |- − |<math>Y = X_1 \text{ AND } X_2</math> − |0.311 − |0.311 − |0.311 − |0 − |0.123 − |0.104 − |0.561 − |0.311 − |0.311 − |0.082 − |0.082 − |- − |<math>Y = X_1 + X_2</math> − |0.5 − |0.5 − |0.5 − |0 − |0 − |0 − |0.5 − |0.5 − |0.5 − |0.189 − |0.189 − |- − |<math>Y = X_1</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>C(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>>I(X_1; X_2)</math> − |1 − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |- − |<math>Y = (X_1, X_2)</math> − |<math>C(X_1; X_2)</math> − |1 − |1 − |<math>C(X_1; X_2)</math> − |<math>C(X_1; X_2)</math> − |<math>>I(X_1; X_2)</math> − |1 − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |<math>I(X_1; X_2)</math> − |} − 在以上四种情况中，源变量 <math>\{X_1,X_2\}</math> 都是独立同分布的均匀二值分布。<math>I(X_1; X_2)</math>是源变量间的互信息（Mutual Information），<math>C(X_1; X_2)</math>是源变量间的共有信息（Common Information）。
无编辑摘要
=== 相关概念 ===
=== 相关概念 ===
==== 部分信息分解 ====
==== 部分信息分解 ====
[[文件:Lattice_of_2.png|替代=|无框]]
[[文件:Lattice_of_2.png|替代=|无框]]
==== 整合信息分解 ====
==== 整合信息分解 ====