因果之梯
此词条由因果科学读书会词条梳理志愿者我是猫(74989)、趣木木编撰
未经专家审核,带来阅读不便,请见谅。
起源
因果关系对于人类感知和理解世界,采取行动以及理解自己起着核心作用。大约二十年前,计算机科学家 Judea Pearl 通过发现和系统地研究「因果之梯」(Ladder of Causation),在理解因果关系方面取得了突破,该框架着重说明了观察、做事和想象的独特作用。为了纪念这一具有里程碑意义的发现,人们将其命名为「Pearl 因果层次结构」(Pearl Causal Hierarchy,PCH)。
去年 7 月,来自哥伦比亚大学和斯坦福大学的四位研究者撰写了一篇关于 PCH 和因果推理的技术报告,从逻辑概率和推理图两个方面,对 PCH 进行了新颖全面的解读。
首先介绍了 PCH 是如何从规范的因果机制集合(结构因果模型,SCM)中有机出现的。然后文章转向逻辑层面。该报告的第一个结果是因果层次定理(CHT),该定理表明 PCH 的三个层级从测度论的角度上来看几乎总是分离的。粗略地讲,CHT 表明一层的数据实际上不足以确定较高层的信息。由于在大多数实际情况下,科学家无法获得潜在因果机制的精确形式(只能访问他们生成的关于某些 PCH 层的数据),这促使研究者从图的角度来研究 PCH 内部的推理
具体来说,研究者探索了一组因果推理方法,这些方法可以在给定 SCM 部分规格的情况下,将 PCH 的各层进行桥接,以进行推理。例如,当只有被动观察结果(第一层数据)可用时,你会推断将发生的情况会在环境(第二层语句)中遭到干预。研究者提出了一系列图模型,这些模型让科学家能够以认知上有意义且简约的方式来表示 SCM 的部分规格。
最后,研究者探究了被称为“do算子“(do calculus)的推理系统,展示了在必要情况下,它足以实现 PCH 各层之间的推理。研究者表示:与 PCH 所描绘的人类经验的基本层面相联系是迈向创建下一代 AI 系统的关键一步,该系统将是安全、强大、与人类兼容并符合社会利益的。
定义
因果之梯的每一层级都有一种代表性生物。大多数动物和当前的学习机器都处于第一层级,它们通过关联进行学习。像早期人类这样的工具使用者则处于第二层级,前提是他们是有计划地采取行动而非仅靠模仿行事。我们也可以通过实验来习得干预的效果,这大概也是婴儿获取大多数因果知识的方式。反事实的学习者处于阶梯的顶级,他们可以想象并不存在的世界,并推测观察到的现象的原因为何。
因果之梯第一层级
处于第一层级的是关联,在这个层级中我们通过观察寻找规律。一只猫头鹰观察到一只老鼠在活动,便开始推测老鼠下一刻可能出现的位置,这只猫头鹰所做的就是通过观察寻找规律。计算机围棋程序在研究了包含数百万围棋棋谱的数据库后,便可以计算出哪些走法胜算较高,它所做的也是通过观察寻找规律。如果观察到某一事件改变了观察到另一事件的可能性,我们便说这一事件与另一事件相关联。基于被动观察来做出预测,Pearl认为,目前为止我们的机器学习进展都还是在这一层级的,无论大家认为它有多么强大。
因果关系之梯的第一层级要求我们基于被动观察做出预测,且都是基于相关性的,其典型问题是:“如果我观察到……会怎样?”例如,“我的肺部有很多焦油沉积,我未来患肺癌的概率是多少?”,再比如,一家百货公司的销售经理可能会问:“购买牙膏的顾客同时购买牙线的可能性有多大?”此类问题正是统计学的安身立命之本,统计学家主要通过收集和分析数据给出答案。在这个例子中,问题可以这样解答:首先采集所有顾客购物行为的数据,然后筛选出购买牙膏的顾客,计算他们当中购买牙线的人数比例。这个比例也称作“条件概率”,用于测算(针对大数据的)“买牙膏”和“买牙线”两种行为之间的关联程度。用符号表示可以写作P(牙线|牙膏),其中P代表概率,竖线意为“假设你观察到”。
为了缩小数据的体量,确定变量之间的关联,统计学家开发了很多复杂的方法。比如“相关分析”或“回归分析”,其具体操作是将一条直线拟合到数据点集中,然后确定这条直线的斜率。有些关联可能有明显的因果解释,有些可能没有。但无论如何,统计学本身并不能告诉我们,牙膏或牙线哪个是因,哪个是果。从销售经理的角度看,这件事也许并不重要——好的预测无须好的解释,就像猫头鹰不明白老鼠为何总是从A点跑到B点,但这不
改变它仍然是一个好猎手的事实。
第一层级的梯子上站着的是猫头鹰和机器人,能够做的就是
第二层级的梯子上站着的是原始人类和婴儿,它们学会了有意图地去使用工具,对周遭环境进行干预。
第三个层级上的底子上站着的是有较高智慧的人类,拥有反思的能力,能够在大脑中将真实的世界与虚构的世界进行对比。
在这三个层级上,能够提出和解决的问题是不同的:
在第一个层级上,问题都是基于相关性的,比如:“我的肺部有很多焦油沉积,我未来患肺癌的概率是多少?”
而在第二个层级上,就涉及到了对现实世界的干预,并预测干预结果,比如:“我现在已经吸烟三年了,如果我现在戒烟,我还会患肺癌吗?”
第三个层级上,就是要构建一个虚拟世界,并将虚拟世界与现在进行对比,问题的答案就是对比的结果,比如“如果过去的三年我都没有吸烟,现在我还会患肺癌吗?” Pearl在数学上证明了,这三个层级之间是有着根本的区别的。
因果关系之梯是Judea Pearl提出的一种分类法(也可以称为框架),该分类法回答了“因果推理主体可以做什么”这一问题。该问题的另一种表述是——“相较于不具备因果模型的生物,拥有因果模型的生物能推算出什么前者推算不出的东西”。这种分类法的好处在于,它绕过了关于因果论究竟为何物的漫长而徒劳的讨论,聚焦于具体的可回答的问题。
其中因果关系之梯包括三个层级:关联(association)、干预(intervention)和反事实(counterfactual),分别对应逐级复杂的因果问题。下图为因果关系之梯的示意图。
第一层级:关联
在该层级中,主体通过观察寻找规律。这种观察是被动的,不对世界做出干涉,而是通过我们观察到的世界对问题做出回答。关联的例子有:
- 猫头鹰通过观察老鼠的活动判断老鼠下一刻可能出现的位置
- 计算机围棋程序通过对数百万棋谱的研究发现胜率高的走法
典型问题:
在关联层级,我们会问的典型问题是“如果我观察到......会怎样?”。
例如,超市经理会问“购买牙膏的顾客同时购买牙线的可能性有多大?”。
回答方法:
统计学可以用于回答这类问题,我们可以利用收集到的历史数据计算P(牙线|牙膏)这一条件概率测算购买牙线和牙膏的关联程度。但是,统计学无法告诉我们事物之间的因果关系。
第二层级:干预
干预涉及到主体对现状的主动改变,根据可以被观察到的世界回答问题。
典型问题:
- “如果我们实施......行动,将会怎样?” 例如:“如果我们把牙膏的价格翻倍,牙线的销售额将会怎样?”
- “怎么做?” 例如:“我们应当如何定价以卖掉仓库里积压的牙膏?”
回答方法:
- 进行严格控制条件下的实验,例如网站通过AB test判断用户对页面颜色的偏好
- 建立因果模型(DAG),结合数据进行预测
第三层级:反事实
数据顾名思义就是事实,数据无法告诉我们在反事实或虚构的世界里会发生什么。在反事实世界里,观察到的事实被直截了当地否定了。然而,人类的思维却能可靠地、重复地进行这种寻求背后解释的推断。...... 这种能力彻底地区分了人类智能与动物智能,以及人类与模型盲版本的人工智能和机器学习。
我们通过一个情景来理解反事实:
假设乔在服用了药物D一个月后死亡,那么我们要关注的问题就是这种药物是否导致了他的死亡。为了回答这个问题,我们需要想象这样一种情况:假如乔在即将服药时改变了主意,他现在会活着吗?
在反事实层级,我们需要回答与一个无法被观察的世界相关的问题。
典型问题:
- “假如我当时做了......会怎样?” 例如:“假如我们把牙膏的价格提高一倍,则之前买了牙膏的顾客仍然选择购买的概率是多少?”
- “为什么?”
回答方法:
第二层级中的干预实验无法回答反事实问题,因为我们无法对过去的事实进行改变。
通过结构因果模型(SCM),我们可以回答反事实问题。
样例理解
为了更好的理解因果之梯得三层架构,我们可以通过Judea Pearl著作中所提的一个例子来理解三个层级概念。
- 首先,需要法院发布处决犯人的命令
- 行刑队队长收到法院命令后,对士兵A和士兵B发布处决指令
- 士兵A或士兵B接到命令开枪
我们假设士兵A和B只听队长的命令开枪,不会擅自开枪。此外,只要任一枪手开枪,犯人都会死亡。
请考虑以下问题:
- 不考虑自然死亡的情况,如果犯人死了,那么这是否意味着法院已下令处决犯人?
- 假设我们发现士兵A射击了,它告诉了我们关于B的什么信息?
- 如果士兵A决定按自己的意愿射击,而不等待队长的命令,情况会怎样?犯人会不会死?
- 假设犯人现在已倒地身亡,从这一点我们可以得出结论:A射击了,B射击了,行刑队队长发出了指令,法院下了判决。但是,假如A决定不开枪,犯人是否还活着?
上述问题中,1和2为关联层级的问题(一个事实告诉我们有关另一事实的什么信息),我们可以通过观察到的情况“犯人已死”、“士兵A射击”做出推理回答问题,得到法院下令和士兵B也射击了的回答。
3为干预层级的问题,我们需要对现实世界做出调整(现实:士兵A只听队长命令,调整:士兵A按照自己的意愿射击),从而根据可以被观察到的世界回答问题。
4为反事实层级的问题。在现实世界中,A已经开枪了,但我们需要了解另一个与现实相矛盾的世界(A没有开枪,其它情况不变)中犯人的情况。对于该问题,我们无法根据观察到的世界回答,也无法对现在的世界进行干涉从而回答该问题。但是,我们可以通过构建因果模型从而推理出问题的回答。
推荐资料
参考链接:
凉某人的笔记本 (cnblogs.com),
Judea Pearl提出的“因果阶梯”到底是什么?哥大、斯坦福研究者60页文章详解该问题 (thepaper.cn)
集智俱乐部文章
600+学者共攀因果之梯,因果科学风暴再升级! | 集智俱乐部 (swarma.org)
周日直播丨攀登因果之梯第三阶:反事实推理及其应用分享 | 集智俱乐部 (swarma.org)
构建因果引擎,创新科研范式——因果科学的学习路线图 | 集智俱乐部 (swarma.org)
集智课程
因果科学与 Causal AI 系列读书会 (swarma.org)