216
个编辑
更改
跳到导航
跳到搜索
第47行：
第47行： − + 第87行：
第87行： − +
→多变量互信息理论
== 多变量互信息理论 ==
== 多变量互信息理论 ==
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者开启了以信息计量多个随机变量集合中总冗余度的方式,后者则引出了反直觉的负交互信息问题,这些构成了PID框架形成的动机——即PID框架试图彻底解决前两种多变量信息理论的问题，一方面PID框架试图对冗余进行彻底、详尽的分析，另一方面，PID框架给出了交互信息框架中负信息的形成机制及其意义，即解决了负交互信息问题。
在PID框架被提出前，多变量信息理论有两种主流的发展路径，分别为S. Watanabe于1960提出的总相关性框架及William J. McGill于1954提出的交互信息框架，前者开启了以信息计量多个随机变量集合中总冗余度的方式,后者则引出了反直觉的负交互信息问题,这些构成了PID框架形成的动机，一方面PID框架对多变量交互信息中的冗余进行彻底、详尽的分析，另一方面，PID框架要给出交互信息框架中负信息的形成机制及其意义，即彻底解决负交互信息问题。
=== 总相关性 ===
=== 总相关性 ===
[[File:Pasted image 20251104135250.png|描述|链接=Special:FilePath/Pasted_image_20251104135250.png]]
[[File:Pasted image 20251104135250.png|描述|链接=Special:FilePath/Pasted_image_20251104135250.png]]
'''负信息问题'''
'''负交互信息问题'''
对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。
对单变量的信息熵而言，信息熵始终非负，但在McGill的交互信息框架中却会出现多变量间交互信息可能为负值的情况，这种反直觉的事实意味着，McGill的多变量信息框架存在缺陷，这一问题使得后续的工作者发展出更完备的多变量信息理论，PID就是其中一种。