因果发现

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索

简介

因果发现，即从纯观测数据中发现并获取因果关系，在近几十年来作为基础的数据分析方法在各个学科发挥着重要的作用[1]。


几乎所有的科学都是关于识别因果关系和支配它们的法律或规律性的。它们的规律。自十七世纪现代科学开始以来，有两种方法来发现因果关系：（1）操纵和改变系统中的某一些的特征，以观察其他特征是否发生变化；（2）观察系统特征的变化，而不进行操作。这两种方法都在十七世纪大放异彩，当时它们是互相交织在一起，就像今天一样。伊万杰里斯塔-托里切利操纵了站在一个装有水银的管子里的角度和形状，而管子中水银的高度没有变化。帕斯卡尔让人把托里切利设计的压力计抬到山上，以证明水银的高度确实随海拔高度而变化。伽利略曾从观测时间序列中确定了（定性的）木卫二卫星的轨道。开普勒从行星观测中得出了他的三大定律。牛顿则通过对太阳系的观察和一个单一的实验得出的引力定律奠定了现代物理学的基础。现代分子生物学是一个实验课题，但生物学的基础，在达尔文的《物种起源》中，只有一个实验，即种子的漂移。


发现因果关系的传统方法是使用干预措施或随机实验，这在很多情况下过于昂贵，过于耗时，甚至不可能。因此，通过分析纯粹的观察性数据来揭示因果信息，即所谓的因果发现，已经引起了人们的关注（Spirtes et al, 2000[2]）。过去几十年 在过去的几十年中，我们看到了一系列跨学科的算法的进步 识别因果关系和效应大小的算法取得了一系列跨学科的进展。数据或混合实验和观察数据中识别因果关系和效应大小的算法取得了一系列跨学科的进展。这些发展有望使人们更好地利用适当的 "大数据"。它们已经被应用于基因组学、生态学、流行病学、空间物理学、临床医学、神经科学和许多其他领域，通常对其预测进行实验或准实验验证。在传统的因果关系研究中,当因果关系完全或部分已知时，用于识别因果效应或推断干预措施效果的算法，解决的是另一类问题。

基于约束的因果发现方法

基于约束的因果发现方法主要基于独立性和条件独立性检测判断变量之间的统计关系，并在一定的假设下先获得无向因果图。之后利用V-structure和一系列方向传播规则对因果图中的无向边进行方向传播。其经典方法包括PC[3]算法，能够处理隐变量（混淆变量）的FCI[4]算法，以及能够处理异构数据的CD-NOD[5]算法。

基于评分的因果发现方法

基于评分的方法通过对候选模型（即候选因果图）进行评分的方式，来选取评分最高的因果图作为结果。经典方法包括GES[6]以及一系列通过改变评分函数来适应不同任务的扩展方法，例如基于通用评分函数的因果发现方法[7]。此外，对于实际情况中Faithfulness假设不满足的情景，Exact Search[8]可提供可靠的马尔科夫等价类。

基于约束性函数因果模型的因果发现方法

基于约束性函数因果模型的因果方法通过假设结果和原因之间的函数关系类别，从而判断其间的方向。经典方法包括线性非高斯无环模型[9]，加性噪声模型[10]和后非线性模型[11]。近期通过对混合函数进行限制从而得到非线性独立成分分析的可识别性的理论[12]也为通用的非线性的因果发现提供了新的方法。

因果隐表征学习

因果隐表征学习专注于隐变量与观测变量间的关系以及隐变量间的关系，经典工作包括GIN[13]以及层级化隐变量学习[14]。

因果发现工具：causal-learn

Causal-learn[15]是Tetrad[16] java代码的一个Python翻译和扩展。它提供了最新的因果发现方法的实现，以及简单而直观的API。

编者推荐

集智学园课程推荐

本次报告将简要示范如何使用causal-learn的因果发现python包，并使用一个开源的数据集展示数据清理和因果发现的流程细节。

本讲座将站在一种较宏观的视角对这些技术进行概述，内容将涉及但不限于：运用 Reservior 计算预测混沌、基于图网络的自动建模与控制、基于最优控制的可微分 ODE 求解技术、基于自注意力机制的人工智能统计物理学家、基于 Gumbel softmax 技术的网络重构、基于神经网络的格兰杰因果检验、基于强化学习的干预因果模型等。

主要介绍因果发现的基础背景知识，并带领大家使用Tetrad工具包，熟悉该软件的基本操作。通过实操，使参与者对结构因果模型，因果发现等概念有基础的认知。

本期分享，我们将一起阅读Elements of Causal Inference 这本书的第四章和第七章，补充因果发现领域的基础知识。探讨多变量因果模型和双变量因果模型的可识别性问题，和相应的一些经典的因果发现算法，包括但不限于多变量模型中基于约束的方法、基于打分函数的方法，双变量模型中基于加性噪声模型、信息几何（Information-Geometric Causal Inference）等方法。

本次分享会分析三种基于条件约束的算法：SGS算法、IC算法和PC算法，梳理这些算法的发展历史，比较他们的异同，分析算法的细节，并结合他们的思想设计一个因果发现算法的小实验，展示基于条件约束的因果发现发现算法的运作方法。

不同数据缺失机制下如何进行因果发现？

分享者：屠睿博 瑞典皇家工学院博士在读

在许多因果发现的许多应用领域之中，数据缺失是一个极其常见的现象。通常的处理方法是删除含有缺失数据的记录或者做简单的数据填充，然而这样做很有可能引入由数据丢失机制带来的系统误差，从而影响因果发现的结果。此次分享的第一个部分将先介绍不同的丢失机制，并在因果图中表示数据丢失机制；然后依此回答：

  • 哪些丢失机制会带来系统误差？
  • 系统误差会给因果发现带来什么影响？
  • 如何找出可能错误的因果关系？
  • 如何能够在潜在错误的因果关系中还原回正确的因果关系？

此次分享第一个部分的最后将在此次分享中介绍关于评估因果发现方法的困难和现状。

因果发现算法

分享者：黄碧薇 卡耐基梅隆大学博士在读

因果发现能够在不引入先验知识的情况下，自动化地在大规模时序数据中找到因果联系，本次会详细介绍因果发现的两类方法: 基于条件约束的方法 (constraint-based methods) 的和基于功能因果模型的方法 (functional causal model-based approaches)。

对于基于条件约束的方法，我们除了介绍well-known的PC算法和FCI算法，还会进一步探讨最新的进展。比如当部分数据缺失时，或者非稳态的情况下，如何实现因果发现？

对于基于功能因果模型的方法，我们会着重讨论LiNGAM, nonlinear additive-noise model, 以及post-nonlinear model。并且会进一步拓展到当出现cycle, 或者存在hidden confounder的情况。

图灵奖得主朱迪亚·珀尔教授认为，当下正在进行一场改变数据科学的新革命 ”因果革命“。它以科学为中心，涉及从数据到政策、可解释性、机制的泛化，再到一些社会科学中的归因和公平性问题，甚至哲学中的创造性和自由意志 。本季读书会以Elements of Causal Inference一书为线索，主要展现因果科学在机器学习各个方向上的影响，包括强化学习、迁移学习、表示学习等等，并分享在工业界的部分应用成果。本季读书会梳理了因果科学的核心内容，理解它如何改变数据科学，助力 AI 系统超越曲线拟合和获得回答因果问题的能力。

因果推断与机器学习领域的结合已经吸引了越来越多来自学界业界的关注。第一季读书会主要关注了因果科学在机器学习方向上的前沿应用，为深入探讨、普及推广因果科学议题，第二季读书会着力于实操性、基础性，带领大家精读因果科学方向两本非常受广泛认可的入门教材：Causal inference in statistics: A primer和Elements of causal inference: foundations and learning algorithms。读书会以直播讨论为主，结合习题交流、夜谈、编程实践、前沿讲座等多类型内容，主要面向有机器学习背景、希望深入学习因果科学基础知识和重要模型方法、寻求解决相关研究问题的研究人员。

“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。通过前两季的分享，我们主要梳理了因果科学在计算机领域的前沿进展。如要融会贯通，我们需要回顾数十年来在社会学、经济学、医学、生物学等多个领域中，都是使用了什么样的因果模型、以什么样的范式、解决了什么样的问题。我们还要尝试进行对比和创新，看能否以现在的眼光，用其他的模型，为这些研究提供新的解决思路。

“因果+X”就是要让因果真正地应用于我们的科学研究中，不管你是来自计算机、数理统计领域，还是社会学、经济学、管理学领域，还是医学、生物学领域，我们希望共同探究出因果研究的范式，真正解决因果的多学科应用问题，乃至解决工业界的问题。

文章推荐

因果发现工具箱 | 集智俱乐部 (swarma.org)

​causal-learn：基于Python的因果发现算法平台 | 集智俱乐部 (swarma.org)

因果发现最新进展及其在电信网络运营维护的实践探讨 | 集智俱乐部 (swarma.org)

BDSC2021前沿讲习班 | 社会系统中的因果发现 | 集智俱乐部 (swarma.org)

福利 | 因果推断会是下一个AI热潮吗？Judea Pearl《因果论》重磅上市！

因果科学入门读什么书？Y. Bengio博士候选人的研读路径推荐

历时3个月，全球32位讲者，共同讲述因果科学与Causal AI的全景框架！

因果科学：连接统计学、机器学习与自动推理的新兴交叉领域

因果观念新革命？万字长文，解读复杂系统背后的暗因果

相关路径

  • 因果科学与Casual AI读书会必读参考文献列表，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。
  • 因果推断方法概述,这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。
  • 因果科学和 Causal AI入门路径，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。

参考文献

  1. ↑ Glymour, Clark, Kun Zhang, and Peter Spirtes. "Review of causal discovery methods based on graphical models." Frontiers in genetics 10 (2019): 524.
  2. ↑ Spirtes, Peter, et al. Causation, prediction, and search. MIT press, 2000.
  3. ↑ Spirtes, P., Glymour, C. N., Scheines, R., & Heckerman, D. (2000). Causation, prediction, and search. MIT press.
  4. ↑ Spirtes, P., Meek, C., & Richardson, T. (1995, August). Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (pp. 499-506).
  5. ↑ Huang, B., Zhang, K., Zhang, J., Ramsey, J. D., Sanchez-Romero, R., Glymour, C., & Schölkopf, B. (2020). Causal Discovery from Heterogeneous/Nonstationary Data. J. Mach. Learn. Res., 21(89), 1-53.
  6. ↑ Chickering, D. M. (2002). Optimal structure identification with greedy search. Journal of machine learning research, 3(Nov), 507-554.
  7. ↑ Huang, B., Zhang, K., Lin, Y., Schölkopf, B., & Glymour, C. (2018, July). Generalized score functions for causal discovery. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 1551-1560).
  8. ↑ Ng, Ignavier, Yujia Zheng, Jiji Zhang, and Kun Zhang. "Reliable Causal Discovery with Improved Exact Search and Weaker Assumptions." Advances in Neural Information Processing Systems 34 (2021): 20308-20320.
  9. ↑ Shimizu, S., Hoyer, P. O., Hyvärinen, A., Kerminen, A., & Jordan, M. (2006). A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7(10).
  10. ↑ Hoyer, P. O., Janzing, D., Mooij, J. M., Peters, J., & Schölkopf, B. (2008, December). Nonlinear causal discovery with additive noise models. In NIPS (Vol. 21, pp. 689-696).
  11. ↑ Zhang, K., & Hyvärinen, A. (2009, June). On the Identifiability of the Post-Nonlinear Causal Model. In 25th Conference on Uncertainty in Artificial Intelligence (UAI 2009) (pp. 647-655). AUAI Press.
  12. ↑ Zheng, Yujia, Ignavier Ng, and Kun Zhang. "On the Identifiability of Nonlinear ICA: Sparsity and Beyond." arXiv preprint arXiv:2206.07751 (2022).
  13. ↑ Xie, Cai, Huang, Glymour, Hao, Zhang, "Generalized Independent Noise Condition for Estimating Linear Non-Gaussian Latent Variable Causal Graphs," NeurIPS 2020
  14. ↑ Feng Xie, Biwei Huang, Zhengming Chen, Yangbo He, Zhi Geng, Kun Zhang, "Estimation of Linear Non-Gaussian Latent Hierarchical Structure," accepted to International Conference on Machine Learning (ICML) 2022
  15. ↑ https://causal-learn.readthedocs.io/en/latest/
  16. ↑ https://github.com/cmu-phil/tetrad
取自“https://wiki.swarma.org/index.php?title=因果发现&oldid=32964”