| 第811行: |
第811行: |
| | | | |
| | 当待分析的变量系统中包含变量数目增多时,变量增多时会急剧膨胀,当系统变量数目大于<math>9</math>个时,部分信息项的数目超过<math>5 \times 10^{22}</math>个,此时Dedekind数已无法手动计算出,冗余格结构的复杂度也会同步提升,导致大型系统中的部分信息原子无法通过PID最初论文高效计算,这使得PID框架适用的复杂系统规模极为受限。 | | 当待分析的变量系统中包含变量数目增多时,变量增多时会急剧膨胀,当系统变量数目大于<math>9</math>个时,部分信息项的数目超过<math>5 \times 10^{22}</math>个,此时Dedekind数已无法手动计算出,冗余格结构的复杂度也会同步提升,导致大型系统中的部分信息原子无法通过PID最初论文高效计算,这使得PID框架适用的复杂系统规模极为受限。 |
| − |
| |
| − | 。
| |
| | | | |
| | == PID框架的扩展 == | | == PID框架的扩展 == |
| − | 为了解决PID框架遭遇的困难,研究人员针对性地对PID框架进行了扩展,在这里我们介绍一类提升PID可计算程度最具代表性的工作。
| + | 为了解决PID框架遭遇的困难,研究人员针对性地对PID框架进行了扩展,在这里我们介绍一类提升PID可计算程度最具代表性的工作,即高斯型PID框架。 |
| | | | |
| | === 高斯型PID框架 === | | === 高斯型PID框架 === |
| 第847行: |
第845行: |
| | == 相关框架 == | | == 相关框架 == |
| | | | |
| − | ==== 部分熵分解 ====
| + | === 部分熵分解 === |
| | 部分熵分解是PID框架最直接的推广,与标准的PID框架不同之处在于,它不分解源变量集对目标变量的互信息,而是直接分解变量集合的联合熵,无需区分源变量与目标变量。 | | 部分熵分解是PID框架最直接的推广,与标准的PID框架不同之处在于,它不分解源变量集对目标变量的互信息,而是直接分解变量集合的联合熵,无需区分源变量与目标变量。 |
| | | | |
| 第880行: |
第878行: |
| | 在这种情况下,高阶信息会被重复计算,从而导致系统中表观依赖关系的整体数值被整体性地放大。 | | 在这种情况下,高阶信息会被重复计算,从而导致系统中表观依赖关系的整体数值被整体性地放大。 |
| | | | |
| − | ==== 整合信息分解(ΦID) ==== | + | === 广义信息分解 === |
| | + | (增补内容) |
| | + | |
| | + | === 整合信息分解(ΦID) === |
| | 整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论(IIT),克服 PID 单目标变量局限与传统整合信息测度(如 <math>\Phi WMS</math>、CD)的行为不一致性局限,并将PID扩展至多源。 | | 整合信息分解是一种PID框架的推广,该框架旨在综合部分信息框架与整合信息论(IIT),克服 PID 单目标变量局限与传统整合信息测度(如 <math>\Phi WMS</math>、CD)的行为不一致性局限,并将PID扩展至多源。 |
| | | | |
| 第910行: |
第911行: |
| | | | |
| | == PID框架应用研究 == | | == PID框架应用研究 == |
| − | PID的高效性体现在其可以扩展至多个领域,这里集智百科将展示PID在复杂系统涌现研究、 意识研究领域中的应用。
| + | PID的高效性体现在其可以扩展至多个领域,这里集智百科将展示PID在因果科学、复杂系统涌现研究、 脑科学与神经科学、意识研究和人工智能等领域中的应用。 |
| | + | |
| | + | === PID在因果科学中的应用 === |
| | + | 对SURD的介绍(目前正在参考明哲在因果涌现读书会第六季的视频) |
| | + | |
| | === PID在复杂系统涌现研究中的应用 === | | === PID在复杂系统涌现研究中的应用 === |
| | | | |
| 第950行: |
第955行: |
| | | | |
| | 利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果,作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提,以及学习可反向强化系统集成性与因果涌现性的特点,同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。 | | 利用高斯信息假设下的<math>\Phi</math> ID的方法分析实验结果,作者发现了5种GRNs的新涌现方式,并揭示了集成是学习的前提,以及学习可反向强化系统集成性与因果涌现性的特点,同时指出了GRNs同随机网络在学习后涌现能力变化的核心差异——GRNs具有随机网络不具备的涌现能力积累经验提高的性质。这一工作也展示了基于高斯信息假设的信息分解方法在生物连续数据中的有效性。 |
| − | === PID框架在意识研究中的应用 === | + | |
| | + | === PID在脑科学与神经科学中的应用 === |
| | + | |
| | + | === PID框架在意识科学中的应用 === |
| | 在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论,称之为<math>\mathrm{Psy}</math>-ID理论。 | | 在2021年的一篇工作中.Luppi等人提出了一种基于PID框架扩展的PhiID框架的意识理论,称之为<math>\mathrm{Psy}</math>-ID理论。 |
| | | | |
| 第977行: |
第985行: |
| | 具体而言,零时滞PID只能捕捉瞬时交互,完全忽略时滞效应带来的因果关联,从而无法反映过程的动态演化(如气候指数间的跨季影响)而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。 | | 具体而言,零时滞PID只能捕捉瞬时交互,完全忽略时滞效应带来的因果关联,从而无法反映过程的动态演化(如气候指数间的跨季影响)而TE-PID仅能捕捉单向因果(源到目标),无法捕捉反向因果(目标与源)和瞬时交互,导致双向动态耦合的缺失。 |
| | | | |
| − | | + | 为了解决零时滞PID和TE-PID在分析随机过程时带来的局限,作者发展了PIRD框架,即部分信息率分解框架,这一框架是静态随机变量系统部分信息分解(PID) 到时间相关性的随机过程系统的扩展。 |
| − | | |
| − | 为了解决零时滞PID和TE-PID在分析随机过程时带来的局限,作者发展了PIRD框架,称部分信息率分解框架,这一框架是将传统部分信息分解(PID) 从静态随机变量系统扩展到时间相关性的随机过程系统的信息分解框架。 | |
| | | | |
| | 与零时滞PID和TE-PID不同,PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率(MIR)<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息(MI),结合频率域谱冗余率(SMMI)<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。 | | 与零时滞PID和TE-PID不同,PIRD使用PID框架分解的目标是包括了源过程与目标过程间所有交互作用的互信息率(MIR)<math>I_{X;Y} = \lim_{n \to \infty} \frac{1}{n}I(\mathbf{X}(t_1),\dots,\mathbf{X}(t_n);Y(t_1),\dots Y(t_n))</math>替代静态互信息(MI),结合频率域谱冗余率(SMMI)<math>i_{\mathbf{X}_α;Y}^{\cap}(ω)=\min_{j=1,...,J}i_{\mathbf{X_{α_j}};Y}(ω)</math>实现动态信息的独特、冗余、协同贡献分解。 |
| 第1,005行: |
第1,011行: |
| | | | |
| | 在实际计算中,作者采用了BATCH可扩展估计器,直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题,提升PID计算的鲁棒性。 | | 在实际计算中,作者采用了BATCH可扩展估计器,直接处理LVLMs输出的高维连续嵌入特征,无需修改模型架构或重训练,具备模型无关性,作者还引入置信度阈值重归一化、软聚合边际输出分布,以解决预测分布噪声与估计偏差问题,提升PID计算的鲁棒性。 |
| − |
| |
| − |
| |
| | | | |
| | 在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。 | | 在广度(模型×数据集)、深度(层)和时间(训练)维度上,作者设计了系列试验探究了何种信号能最一致地影响 LVLMs的行为与泛化能力。 |
| 第1,033行: |
第1,037行: |
| | | | |
| | 给复杂系统科学家的信息论 Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023. | | 给复杂系统科学家的信息论 Varley T F. Information theory for complex systems scientists[J]. arXiv preprint arXiv:2304.12482, 2023. |
| | + | |
| | + | SURD:Álvaro Martínez-Sánchez, Gonzalo Arranz, Adrián Lozano-Durán. '''Decomposing causality into its synergistic, unique, and redundant components'''''. arXiv:2405.12411'', 2024 |
| | | | |
| | 因果涌现的形式化理论:Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246 | | 因果涌现的形式化理论:Mediano Pedro A. M., Rosas Fernando E., Luppi Andrea I., Jensen Henrik J., Seth Anil K., Barrett Adam B., Carhart-Harris Robin L. and Bor Daniel 2022Greater than the parts: a review of the information decomposition approach to causal emergencePhil. Trans. R. Soc. A.38020210246 |