更改

====有效信息在因果机器学习中的应用====

====有效信息在因果机器学习中的应用====

因果涌现能够在分布外场景中增强[[机器学习]]的性能，<math>EI</math>中引入的do干预捕获了数据生成过程中的因果依赖性，抑制了虚假相关，从而补充了基于关联的机器学习算法，建立了<math>EI</math>与[[分布外泛化]]（Out Of Distribution，简称OOD）的联系<ref name="Emergence_and_causality_in_complex_systems">{{cite journal|author1=Yuan, B|author2=Zhang, J|author3=Lyu, A|author4=Wu, J|author5=Wang, Z|author6=Yang, M|author7=Liu, K|author8=Mou, M|author9=Cui, P|title=Emergence and causality in complex systems: A survey of causal emergence and related quantitative studies|journal=Entropy|year=2024|volume=26|issue=2|page=108|url=https://www.mdpi.com/1099-4300/26/2/108}}</ref>。由于[[有效信息|EI]]的通用性，因果涌现可以应用于监督机器学习来评估特征空间X与目标空间Y之间的因果关系强度，从而提高从原因(特征)到结果(目标)的预测准确性。值得注意的是，对观测值从X到Y的直接拟合足以满足具有i.i.d.假设的常见预测任务，这意味着训练数据和测试数据是[[独立同分布]]的。然而，如果样本是从训练分布之外抽取的，就必须学习一个从训练到测试环境的泛化表示空间。由于人们普遍认为因果关系的泛化性优于[[统计相关性]]<ref>Arjovsky, M.; Bottou, L.; Gulrajani, I.; Lopez-Paz, D. Invariant risk minimization. arXiv 2019, arXiv:1907.02893.</ref>，因此，因果涌现理论可以作为表征空间中嵌入因果关系的标准。因果涌现的发生揭示了目标的潜在因果因素，从而产生了一个关于分布外泛化的鲁棒表示空间。因果涌现可能为基于因果理论的分布外泛化提供一个统一的表征度量。<math>EI</math>也可以看作是分布外泛化的基于重加权的去偏技术的一种信息论抽象。此外，我们猜想，分布外泛化可以在最大化<math>EI</math>的同时实现，<math>EI</math>可能会在原始特征抽象的中期阶段达到顶峰，这与OOD泛化的思想一致，即少即是多。理想情况下，当因果涌现发生在EI的峰值处，所有非因果特征被排除，因果特征被揭示，从而产生最具信息量的表示，同时保持分布变化不变。

因果涌现能够在分布外场景中增强[[机器学习]]的性能，<math>EI</math>中引入的do干预捕获了数据生成过程中的因果依赖性，抑制了虚假相关，从而补充了基于关联的机器学习算法，建立了<math>EI</math>与[[分布外泛化]]（Out Of Distribution，简称OOD）的联系<ref name="Emergence_and_causality_in_complex_systems">{{cite journal|author1=Yuan, B|author2=Zhang, J|author3=Lyu, A|author4=Wu, J|author5=Wang, Z|author6=Yang, M|author7=Liu, K|author8=Mou, M|author9=Cui, P|title=Emergence and causality in complex systems: A survey of causal emergence and related quantitative studies|journal=Entropy|year=2024|volume=26|issue=2|page=108|url=https://www.mdpi.com/1099-4300/26/2/108}}</ref>。由于[[有效信息]]的通用性，因果涌现可以应用于监督机器学习来评估特征空间X与目标空间Y之间的因果关系强度，从而提高从原因(特征)到结果(目标)的预测准确性。值得注意的是，对观测值从X到Y的直接拟合足以满足具有i.i.d.假设的常见预测任务，这意味着训练数据和测试数据是[[独立同分布]]的。然而，如果样本是从训练分布之外抽取的，就必须学习一个从训练到测试环境的泛化表示空间。由于人们普遍认为因果关系的泛化性优于[[统计相关性]]<ref>Arjovsky, M.; Bottou, L.; Gulrajani, I.; Lopez-Paz, D. Invariant risk minimization. arXiv 2019, arXiv:1907.02893.</ref>，因此，因果涌现理论可以作为表征空间中嵌入因果关系的标准。因果涌现的发生揭示了目标的潜在因果因素，从而产生了一个关于分布外泛化的鲁棒表示空间。因果涌现可能为基于因果理论的分布外泛化提供一个统一的表征度量。<math>EI</math>也可以看作是分布外泛化的基于重加权的去偏技术的一种信息论抽象。此外，我们猜想，分布外泛化可以在最大化<math>EI</math>的同时实现，<math>EI</math>可能会在原始特征抽象的中期阶段达到顶峰，这与OOD泛化的思想一致，即少即是多。理想情况下，当因果涌现发生在<math>EI</math>的峰值处，所有非因果特征被排除，因果特征被揭示，从而产生最具信息量的表示，同时保持分布变化不变。

===其它相关领域===

===其它相关领域===