216
个编辑
更改
跳到导航
跳到搜索
第135行：
第135行： − + − 第144行：
第143行： − + − + 第163行：
第162行： + + + 第236行：
第238行： + − 本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表格中的方式给出时，可以相应的计算出该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。+ − − 第432行：
第433行： − + − 考虑两个源集合 <math>\alpha,\beta\in\mathcal{A}(S)</math>，若对每个源 − + − 于是，我们可定义偏序： − − + − 第494行：
第491行： − + − 以下是一些有代表性的定量方法：+ − 首先，第一个定义即原论文给出的定义（见冗余信息定义小节）。 第699行：
第695行： + 第708行：
第705行： + + 第717行：
第716行： + −
→两源变量PID框架与部分信息原子
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\left[\log\frac{1}{p(t)}-\log\frac{1}{p(t|s)}\right]
\end{equation}
\end{equation}
项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供信息的最小值的期望，即
项<math>\log1/p(t)</math>称为<math>t</math>的不确定度(surprise)。因此 <math>I(T=t;S)</math>是在<math>T=t</math>条件下，对源变量取值<math>s\sim p(s|t)</math>加权平均的不确定度减少量。这是一种很自然的定义。例如对特定结果<math>t</math>发生的条件下<math>S</math>以百分之五十概率取<math>s_1</math>，以百分之五十的概率取<math>s_2</math>，显然可以用这两个取值对<math>t</math>的不确定度减少量加权平均来定义平均不确定度减少量（即<math>I(T=t;S)</math>）。总之，<math>I(T=t;S)</math> 量化 <math>S</math>关于每个特定结果 <math>t\in T</math>所提供的信息，而<math>I(T;S)</math>则是该量在所有结果上的期望。根据此，一个自然的[[冗余]]度量是每个源关于每个结果所提供信息的最小值的期望，即\begin{equation}
\begin{equation}
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
I_{\min}(T;\{S_1,S_2,\dots ,S_n\})
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).
=\sum_{t}p(t)\min_{S_i}I(T=t;S_i).
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节开头。
注：为什么在三种信息里面只给出冗余信息的定义见“冗余晶格”小节开头。
===冗余信息的若干公理化性质===
===冗余信息的若干性质===
根据上述定义,Williams和Beer<ref name="Paul" />给出了如下关于[[冗余]]信息必须满足的底线性质：
根据上述定义,Williams和Beer<ref name="Paul" /> 给出了[[冗余]]信息具有的一些重要性质:
1.非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0
1.非负性：要证明[[冗余]]信息是非负的，只需要证明<math>I(T=t;S)</math>是非负的。我们有<math>I(T=t;S)=D(p(s|t)||p(s))\ge 0
6.对称性：冗余对信源的顺序不变，设共有n个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_{\sigma(1)},S_{\sigma(2)},...,S_{\sigma(n)})</math>
6.对称性：冗余对信源的顺序不变，设共有n个源变量，则<math>I(T;S_1,S_2,...,S_n)=I(T;S_{\sigma(1)},S_{\sigma(2)},...,S_{\sigma(n)})</math>
在这些底线性质中:对称性、单调性、自冗余性是定义冗余信息所必须的遵守公理。
=== 两源变量[[PID框架]]与部分信息原子 ===
=== 两源变量[[PID框架]]与部分信息原子 ===
由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,通过异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性可知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
由<math>X,Y</math>间的独立性可知<math>\mathrm{Red}(X,Y,→ Z) = 0</math>,通过异或逻辑的构造和<math>X,Y,Z</math>间的两两独立性可知<math>\mathrm{Syn}(X,Y \rightarrow Z) \neq 0</math>，可大致了传输信息是如何在这组变量的信息原子之间的分布情况。
本例中，当<math>X,Y,Z</math>的分布及相应的联合分布按下方表1中的方式给出时，可以相应的计算出列于表2中展示该两源随机变量系统中[[熵]]、[[条件熵]]、相应的[[条件互信息]]，从而获得这组随机变量的[[总相关性]]、[[McGill交互信息]]。
{| class="wikitable" style="width:100%; border:0;"
{| style="width:100%; border:0;"
| style="vertical-align:top; width:50%; padding-right:8px;" |
| style="vertical-align:top; width:50%; padding-right:8px;" |
<!-- 第一个表格：变量、联合分布与独立乘积 -->
<!-- 第一个表格：变量、联合分布与独立乘积 -->
此后，我们将用带括号的索引简记<math>\mathcal{A}(S)</math>的元素，例如：
此后，我们将用带括号的索引简记<math>\mathcal{A}(S)</math>的元素，例如：
<math>\{\{S_{1},S_{2}\}\}</math>记为<math>\{12\}</math>，<math>\{\{S_{1}\},\{S_{2}，S_{3}\}\}</math>记为<math>\{1\}\{23\}</math>
<math>\{\{S_{1},S_{2}\}\}</math>记为<math>\{12\}</math>，<math>\{\{S_{1}\},\{S_{2}，S_{3}\}\}</math>记为<math>\{1\}\{23\}</math>
通过将上述思路进一步延伸，可在<math>\mathcal{A}(S)</math>的元素上定义一个偏序<math>\preccurlyeq</math>。
通过将上述思路进一步延伸，可在<math>\mathcal{A}(S)</math>的元素上定义一个偏序<math>\preccurlyeq</math>。考虑两个源集合 <math>\alpha,\beta\in\mathcal{A}(S)</math>，若对每个源
<math>\mathbf{B}\in\beta</math> 都存在源<math>\mathbf{A}\in\alpha</math>使得
<math>\mathbf{B}\in\beta</math> 都存在源<math>\mathbf{A}\in\alpha</math>使得
<math>\mathbf{A}\subseteq\mathbf{B}</math>，则意味着 <math>\beta</math>中所有源所共享的冗余信息至少包含<math>\alpha</math>中所有源所共享的冗余信息。
<math>\mathbf{A}\subseteq\mathbf{B}</math>，则意味着 <math>\beta</math>中所有源所共享的冗余信息至少包含<math>\alpha</math>中所有源所共享的冗余信息。于是，我们可定义偏序：\begin{equation}
\begin{equation}
\forall\alpha,\beta\in\mathcal{A}(S),\quad
\forall\alpha,\beta\in\mathcal{A}(S),\quad
\alpha\preccurlyeq\beta
\alpha\preccurlyeq\beta
\;\Longleftrightarrow\;
\;\Longleftrightarrow\;\forall\mathbf{B}\in\beta,\;
\forall\mathbf{B}\in\beta,\;
\exists\mathbf{A}\in\alpha,\;
\exists\mathbf{A}\in\alpha,\;
\mathbf{A}\subseteq\mathbf{B}.
\mathbf{A}\subseteq\mathbf{B}.
（需要注意的是，与互信息或交互信息不同，[[部分信息分解]]是相对于选定目标变量的分解，因此交换源变量与目标变量一般会得到不同分解，例如，<math>S_1</math> 和 <math>S_2</math> 关于 <math>T</math> 的[[协同]]信息，通常不等于 <math>T</math> 和 <math>S_2</math> 关于 <math>S_1</math> 的[[协同]]信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>T</math> 的值，就可以唯一确定 <math>S_1</math> 和 <math>S_2</math> 的结果，因此不可能存在 <math>T</math> 和 <math>S_2</math> 联合提供关于 <math>S_1</math> 的[[协同]]信息，因为 <math>S_1</math> 的不确定性已经被 <math>T </math>完全消除了。相反，如前所述，<math>S_1</math> 和 <math>S_2</math> 却提供了关于 <math>T</math> 的[[协同]]信息。这种不对称性也解释了为什么[[部分信息分解]]始终聚焦于关于某个特定变量 <math>T</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）
（需要注意的是，与互信息或交互信息不同，[[部分信息分解]]是相对于选定目标变量的分解，因此交换源变量与目标变量一般会得到不同分解，例如，<math>S_1</math> 和 <math>S_2</math> 关于 <math>T</math> 的[[协同]]信息，通常不等于 <math>T</math> 和 <math>S_2</math> 关于 <math>S_1</math> 的[[协同]]信息。这一性质在上面的例子中也得到了体现：一旦知道了 <math>T</math> 的值，就可以唯一确定 <math>S_1</math> 和 <math>S_2</math> 的结果，因此不可能存在 <math>T</math> 和 <math>S_2</math> 联合提供关于 <math>S_1</math> 的[[协同]]信息，因为 <math>S_1</math> 的不确定性已经被 <math>T </math>完全消除了。相反，如前所述，<math>S_1</math> 和 <math>S_2</math> 却提供了关于 <math>T</math> 的[[协同]]信息。这种不对称性也解释了为什么[[部分信息分解]]始终聚焦于关于某个特定变量 <math>T</math> 的信息，因为在一般情况下，分析的结果会依赖于我们关注的是哪个变量。）
== 冗余信息计算方法 ==
== 冗余信息不同定义方法 ==
以下是一些有代表性的定义方法：冗余信息的第一个定义即原论文给出的定义（见冗余信息定义小节）。
===Griffith 基于共同随机变量的交集信息===
===Griffith 基于共同随机变量的交集信息===
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建[[冗余晶格]]的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
Griffith 等基于 Gács–Körner common random variable 提出交集信息<ref name="Griffith_intersection_CR">{{cite journal|author1=Griffith V.|author2=Chong E. K.|author3=James R. G.|author4=Ellison C. J.|author5=Crutchfield J. P.|title=Intersection information based on common randomness|journal=Entropy|year=2014|volume=16|issue=4|pages=1985–2000|url=https://doi.org/10.3390/e16041985}}</ref>，原论文构建[[冗余晶格]]的方式如下：给定随机变量 <math>X</math>和 <math>Y</math>，记 <math>X\preceq Y</math> 表示存在可测函数 <math>f</math> 使得 <math>X=f(Y)</math> 几乎必然成立。此时称 <math>X</math>在信息上“贫于”<math>Y</math>(informationally poorer），据此可以引入偏序关系。给定随机变量 <math>X,Y</math>，定义其 join（连接）<math>X\vee Y</math>为信息上最“贫”的随机变量，使得<math>X\preceq X\vee Y</math> 且 <math>Y\preceq X\vee Y</math>；类似地，定义 meet（相遇）<math>X\wedge Y</math> 为信息上最“富”的随机变量，使得<math>X\wedge Y\preceq X</math> 且 <math>X\wedge Y\preceq Y</math>。称 <math>X\wedge Y</math> 为 <math>X</math>与 <math>Y </math>的共同随机变量。
==== <math>\widetilde{G}</math>[[-PID]] ====
==== <math>\widetilde{G}</math>[[-PID]] ====
PVenkatesh、Bennett 等人在 2023 年提出 <math>\widetilde{G}</math>-PID，用于高效计算和估计[[联合高斯随机向量]]上的 <math>\widetilde{\mathrm{PID}}</math>，即常称的 ~PID/[[BROJA-PID]]。<ref>[https://proceedings.neurips.cc/paper_files/paper/2023/file/ec0bff8bf4b11e36f874790046dfdb65-Paper-Conference.pdf Venkatesh, P. et al. (2023). “Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data.” ''NeurIPS 2023''.]</ref>
PVenkatesh、Bennett 等人在 2023 年提出 <math>\widetilde{G}</math>-PID，用于高效计算和估计[[联合高斯随机向量]]上的 <math>\widetilde{\mathrm{PID}}</math>，即常称的 ~PID/[[BROJA-PID]]。<ref>[https://proceedings.neurips.cc/paper_files/paper/2023/file/ec0bff8bf4b11e36f874790046dfdb65-Paper-Conference.pdf Venkatesh, P. et al. (2023). “Gaussian Partial Information Decomposition: Bias Correction and Application to High-dimensional Data.” ''NeurIPS 2023''.]</ref>
\min_{Q\in\Delta^{G}_{P}}I_{Q}(M;X\mid Y),
\min_{Q\in\Delta^{G}_{P}}I_{Q}(M;X\mid Y),
</math>
</math>
其中，<math>\Delta^{G}_{P}</math> 表示满足给定[[边缘约束]]的联合高斯分布集合。
其中，<math>\Delta^{G}_{P}</math> 表示满足给定[[边缘约束]]的联合高斯分布集合。
在这一限制下，候选分布由[[协方差矩阵]]参数化；在给定边缘约束后，待优化参数的数量可由随维度指数增长降至二次增长，这里的“二次”指优化变量数量的增长阶，这大大降低了进行PID的[[计算复杂度]]。
在这一限制下，候选分布由[[协方差矩阵]]参数化；在给定边缘约束后，待优化参数的数量可由随维度指数增长降至二次增长，这里的“二次”指优化变量数量的增长阶，这大大降低了进行PID的[[计算复杂度]]。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的 <math>\widetilde{G}</math>-PID信息原子，再加总即可得到整体的 <math>\widetilde{G}</math>-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
这意味着，如果一个多变量的系统可被分解成多个独立的部分，分别计算这些独立部分的 <math>\widetilde{G}</math>-PID信息原子，再加总即可得到整体的 <math>\widetilde{G}</math>-PID信息原子，这一性质亦降低了对大规模系统进行PID分析的难度。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯[[特有]]、纯[[冗余]]、纯[[协同]]）和三种非直觉性示例（[[特有]]和[[冗余]]、[[特有]]和[[协同]]、[[冗余]]和[[协同]]等非直觉性）中测试了~[[G-PID]]的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
Praveen Venkatesh, Corbett Bennett在三种高斯直觉性示例（纯[[特有]]、纯[[冗余]]、纯[[协同]]）和三种非直觉性示例（[[特有]]和[[冗余]]、[[特有]]和[[协同]]、[[冗余]]和[[协同]]等非直觉性）中测试了~[[G-PID]]的有效性，并在真实的神经科学数据集上测试了~G-PID也能在非高斯尖峰神经数据上提供合理结果。
几位研究者的工作在理论上证明了，对~PID/BROJA-PID的优化搜索空间添加高斯限制后得到的<math>\widetilde{G}</math>-PID原子，是相应的~PID/BROJA-PID特有信息原子的上界以及冗余、[[协同信息原子]]的下界，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。
几位研究者的工作在理论上证明了，对~PID/BROJA-PID的优化搜索空间添加高斯限制后得到的<math>\widetilde{G}</math>-PID原子，是相应的~PID/BROJA-PID特有信息原子的上界以及冗余、[[协同信息原子]]的下界，并且他们通过数值测试说明，对非高斯型随机变量系统使用~PID方法时，限制计算时搜索空间为高斯分布也是一个可以提高计算效率，得到较为可靠结果的策略。