“处理（干预）效应”的版本间的差异
| 第9行： | 第9行： | ||
| − | “处理效应”一词是指某一特定处理或干预 (如给予某种药物)对结果变量(如病人的康复)的'''<font color="#ff8000">因果影响 (Causal Effect)</font>'''。在因果关系的 Neyman-Rubin“[[潜在结果框架]] | + | “处理效应”一词是指某一特定处理或干预 (如给予某种药物)对结果变量(如病人的康复)的'''<font color="#ff8000">因果影响 (Causal Effect)</font>'''。在因果关系的 Neyman-Rubin“[[潜在结果框架]]”中，处理效应被定义为每个独立个体的两个“潜在结果”，如果该个体给予处理，就会显现一种结果； 如果该个体不给予处理，就会显现出另一种结果。“处理效果”是这两种潜在结果之间的差异。然而，这种个体水平的处理效果是不可观察到的，因为每个独立个体只能接受处理或不接受处理，但不能同时接受和不接受。随机分配需要确保给处理组的个体和对照组的个体在大量迭代实验上是服从同分布。事实上，两组中的个体在协变量和潜在结果上的分布是相同的。因此，处理个体之间的平均结果是控制个体的平均结果的反事实。这两个平均值之间的差异是平均处理效应 ，这是不可观测到的个体层面的处理效果的中心趋势的估计。<ref>{{cite journal |last=Holland |first=Paul W. |year=1986 |title=Statistics and Causal Inference |journal=Journal of the American Statistical Association|volume=81 |issue=396 |pages=945–960 |jstor=2289064 }}</ref>如果样本是从总体中随机构成，那么'''<font color="#ff8000">样本平均处理效应 (Sample Average Treatment Effect， SATE)</font>'''也是'''<font color="#ff8000">总体平均处理效应 (Population Average Treatment Effect，PATE)</font>'''的估计值。<ref>{{cite journal |last=Imai |first=Kosuke |first2=Gary |last2=King |first3=Elizabeth A. |last3=Stuart |year=2008 |title=Misunderstandings Between Experimentalists and Observationalists About Causal Inference |journal=Journal of the Royal Statistical Society, Series |volume=171 |issue=2 |pages=481–502 |url=http://nrs.harvard.edu/urn-3:HUL.InstRepos:4142695 }}</ref> |
| − | |||
虽然实验确保了[[潜在结果]]以及所有协变量在处理组和对照组中的等价分布，但是在观察性研究中，情况并非如此。在观察性研究中，处理组和对照组个体并不服从随机分布，因此处理个体可能取决于未观测到或不可观测的因素。观察到的因素可以在统计学上加以控制 (如通过[[回归分析|回归]]或[[匹配]]) ，但是任何关于平均处理效应的估计都可能与不可观察因素混淆，这些因素影响了哪些个体接受了处理，哪些个体没有接受处理。 | 虽然实验确保了[[潜在结果]]以及所有协变量在处理组和对照组中的等价分布，但是在观察性研究中，情况并非如此。在观察性研究中，处理组和对照组个体并不服从随机分布，因此处理个体可能取决于未观测到或不可观测的因素。观察到的因素可以在统计学上加以控制 (如通过[[回归分析|回归]]或[[匹配]]) ，但是任何关于平均处理效应的估计都可能与不可观察因素混淆，这些因素影响了哪些个体接受了处理，哪些个体没有接受处理。 | ||
| 第17行： | 第16行： | ||
为了形式化定义平均处理效应，我们定义了两个潜在的结果: <math>y_{0}(i)</math > 是个体 <math> i </math> 没有被处理时的结果变量的取值，<math> y _ {1}(i) </math> 是个体 <math> i </math> 被处理时的结果变量的取值。例如，<math>y_{0}(i)</math > 是个体 <math> i </math> 没有被注射研究药物时的健康状态，<math>y_{1}(i)</math > 是个体 <math> i </math> 被注射药物时的健康状态。 | 为了形式化定义平均处理效应，我们定义了两个潜在的结果: <math>y_{0}(i)</math > 是个体 <math> i </math> 没有被处理时的结果变量的取值，<math> y _ {1}(i) </math> 是个体 <math> i </math> 被处理时的结果变量的取值。例如，<math>y_{0}(i)</math > 是个体 <math> i </math> 没有被注射研究药物时的健康状态，<math>y_{1}(i)</math > 是个体 <math> i </math> 被注射药物时的健康状态。 | ||
| − | |||
个体 <math> i </math> 的处理效应定义为 <math> y_{1}(i)-y_{0}(i) = \beta (i) </math> 。在一般情况下，这种处理效果在个体之间是不一样的。平均处理效果<math> \text{ATE} </math>的定义为 | 个体 <math> i </math> 的处理效应定义为 <math> y_{1}(i)-y_{0}(i) = \beta (i) </math> 。在一般情况下，这种处理效果在个体之间是不一样的。平均处理效果<math> \text{ATE} </math>的定义为 | ||
| 第24行： | 第22行： | ||
这里对总体中所有N数量个体的处理效应进行了聚合平均计算。 | 这里对总体中所有N数量个体的处理效应进行了聚合平均计算。 | ||
| − | |||
如果我们能观察到一个大型代表性样本中每个个体的<math> y _ {1}(i) </math> 和 <math> y _ {0}(i) </math> ，我们可以简单地通过取样本中 <math> y _ {1}(i)-y _ {0}(i) </math> 的平均值来估计平均处理效应。然而，我们不能同时观察每个个体的<math> y _ {1}(i)、y _ {0}(i) </math>，因为每个个体不能同时被处理和不被处理。例如，在药物例子中，我们只能观察到个体接受过药物治疗的<math> y _ {1}(i) </math> 和个体未接受药物的 <math> y _ {0}(i) </math> 。这是研究者们在评估治疗效果时面临的主要问题，并因此引发了大量与估计方法相关的研究。 | 如果我们能观察到一个大型代表性样本中每个个体的<math> y _ {1}(i) </math> 和 <math> y _ {0}(i) </math> ，我们可以简单地通过取样本中 <math> y _ {1}(i)-y _ {0}(i) </math> 的平均值来估计平均处理效应。然而，我们不能同时观察每个个体的<math> y _ {1}(i)、y _ {0}(i) </math>，因为每个个体不能同时被处理和不被处理。例如，在药物例子中，我们只能观察到个体接受过药物治疗的<math> y _ {1}(i) </math> 和个体未接受药物的 <math> y _ {0}(i) </math> 。这是研究者们在评估治疗效果时面临的主要问题，并因此引发了大量与估计方法相关的研究。 | ||
| 第45行： | 第42行： | ||
考虑一个失业群体，对其中一些个体给与政策干预（处理组），其余的不做任何处理（控制组）。现需要计算求职监控政策（干预）对失业期长短的影响: 平均来说，如果对个体进行求职监控（给与干预），失业期会缩短多少？在选择一种干预这种情况下，平均处理效应是处理组和对照组的失业时间长度的期望值（平均值）差异。 | 考虑一个失业群体，对其中一些个体给与政策干预（处理组），其余的不做任何处理（控制组）。现需要计算求职监控政策（干预）对失业期长短的影响: 平均来说，如果对个体进行求职监控（给与干预），失业期会缩短多少？在选择一种干预这种情况下，平均处理效应是处理组和对照组的失业时间长度的期望值（平均值）差异。 | ||
| + | |||
在这个例子中，平均处理效应为正值意味着就业政策延长了失业期，平均处理效应为负值表明就业政策缩短了失业期。平均处理效应等于零表明提供就业政策对失业期长短并没有任何利处或不利。判断一个平均处理效应估计值是否为可以区分的零值需要进行统计推断。 | 在这个例子中，平均处理效应为正值意味着就业政策延长了失业期，平均处理效应为负值表明就业政策缩短了失业期。平均处理效应等于零表明提供就业政策对失业期长短并没有任何利处或不利。判断一个平均处理效应估计值是否为可以区分的零值需要进行统计推断。 | ||
| + | |||
| 第57行： | 第56行： | ||
一些研究人员将处理效果依赖于个体的情况称之为“异质性”。例如，上面提到的求职监控政策依赖于性别（男、女）或者是区域的不同。 | 一些研究人员将处理效果依赖于个体的情况称之为“异质性”。例如，上面提到的求职监控政策依赖于性别（男、女）或者是区域的不同。 | ||
| + | |||
一种异质处理效应的研究方法是将研究数据进行分组 (如按照男、女性别，或者区域进行划分) ，比较平均处理效果在子组内的效应差异。每个子组的平均处理效应被称为'''<font color="#ff8000">“条件平均处理效应”(Conditional Average Treatment Effect，CATE)</font>''' ，也就是说，每个子组的平均处理效应被称为条件平均处理效应，以子组内的分类方式为条件。 | 一种异质处理效应的研究方法是将研究数据进行分组 (如按照男、女性别，或者区域进行划分) ，比较平均处理效果在子组内的效应差异。每个子组的平均处理效应被称为'''<font color="#ff8000">“条件平均处理效应”(Conditional Average Treatment Effect，CATE)</font>''' ，也就是说，每个子组的平均处理效应被称为条件平均处理效应，以子组内的分类方式为条件。 | ||
| − | |||
| − | |||
这种研究方法存在的一个问题是，子组的数据可能比未分组的数据要少得多，没有足够数据进行分析。 | 这种研究方法存在的一个问题是，子组的数据可能比未分组的数据要少得多，没有足够数据进行分析。 | ||
| − | |||
| − | |||
也有一些利用随机森林检测异质处理效应的相关工作<ref name="het-paper">https://arxiv.org/abs/1510.04342</ref><ref name="het-blog-post">https://www.markhw.com/blog/causalforestintro</ref>。 | 也有一些利用随机森林检测异质处理效应的相关工作<ref name="het-paper">https://arxiv.org/abs/1510.04342</ref><ref name="het-blog-post">https://www.markhw.com/blog/causalforestintro</ref>。 | ||
| − | + | == 扩展阅读 Further reading == | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | == 扩展阅读 Further reading | ||
*{{cite book |last=Wooldridge |first=Jeffrey M. |chapter=Policy Analysis with Pooled Cross Sections |pages=438–443 |title=Introductory Econometrics: A Modern Approach |year=2013 |publisher=Thomson South-Western |location=Mason, OH |isbn=978-1-111-53104-1 }} | *{{cite book |last=Wooldridge |first=Jeffrey M. |chapter=Policy Analysis with Pooled Cross Sections |pages=438–443 |title=Introductory Econometrics: A Modern Approach |year=2013 |publisher=Thomson South-Western |location=Mason, OH |isbn=978-1-111-53104-1 }} | ||
| 第94行： | 第84行： | ||
::这个视频内容来自[[集智俱乐部读书会]]-因果科学与Causal AI读书会第二季内容的分享，由英国剑桥大学及其学习组博士陆超超详细的阐述了潜在结果模型和结果因果模型，并介绍了两个框架的相互转化规律。 | ::这个视频内容来自[[集智俱乐部读书会]]-因果科学与Causal AI读书会第二季内容的分享，由英国剑桥大学及其学习组博士陆超超详细的阐述了潜在结果模型和结果因果模型，并介绍了两个框架的相互转化规律。 | ||
| − | ::1. 讲述因果推断的两大框架：潜在结果模型和结构因果模型，讨论他们各自的优缺点以及他们之间的联系，详细介绍他们之间的转化规律。 | + | ::1. 讲述因果推断的两大框架：潜在结果模型和结构因果模型，讨论他们各自的优缺点以及他们之间的联系，详细介绍他们之间的转化规律。 |
| − | |||
| − | |||
*[https://www.bilibili.com/video/BV1NJ411w7ms?from=search&seid=15960075946481426104 Average Effect of Treatment on the Treated (ATT) 实验组的平均干预效应/匹配方法] | *[https://www.bilibili.com/video/BV1NJ411w7ms?from=search&seid=15960075946481426104 Average Effect of Treatment on the Treated (ATT) 实验组的平均干预效应/匹配方法] | ||
| − | :: | + | ::B站搬运的杜克大学社会科学研究中心的分享视频，介绍了在使用匹配方法时会涉及到的ATT、CATE、ATE的方法 |
| − | |||
| − | |||
| − | |||
=== 文章总结 === | === 文章总结 === | ||
| − | * [https://mp.weixin.qq.com/s/f-rI5W6tc6qOzthbzK4oAw 崔鹏：稳定学习——挖掘因果推理和机器学习的共同基础] | + | *[https://mp.weixin.qq.com/s/f-rI5W6tc6qOzthbzK4oAw 崔鹏：稳定学习——挖掘因果推理和机器学习的共同基础] |
* 知乎上RandomWalk总结的关于因果推断之Potential Outcome Framework的内容，其中提到因果退镀and额目标就是从观测数据中估计treatment effect。 | * 知乎上RandomWalk总结的关于因果推断之Potential Outcome Framework的内容，其中提到因果退镀and额目标就是从观测数据中估计treatment effect。 | ||
| 第115行： | 第100行： | ||
=== 相关路径 === | === 相关路径 === | ||
| − | * [https://pattern.swarma.org/path?id=99 因果科学与Casual AI读书会必读参考文献列表]，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。 | + | *[https://pattern.swarma.org/path?id=99 因果科学与Casual AI读书会必读参考文献列表]，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。 |
| − | * [https://pattern.swarma.org/path?id=9 因果推断方法概述],这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。 | + | *[https://pattern.swarma.org/path?id=9 因果推断方法概述],这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。 |
| − | * [https://pattern.swarma.org/path?id=90 因果科学和 Causal AI入门路径]，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。 | + | *[https://pattern.swarma.org/path?id=90 因果科学和 Causal AI入门路径]，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。 |
| − | |||
| + | == 参考文献 References == | ||
| + | {{reflist}} | ||
2022年7月24日 (日) 00:06的版本
处理效应描述了某项处理对于结局的因果作用，一般指接受处理和接受对照的结局差异。处理效应同时依赖于两个潜在结果，因此需要假设才能识别。
平均处理效应 (Average Treatment Effect, ATE)是在随机试验个体、政策干预评估和医药试验中用于比较治疗或干预的一种测量方法。平均处理效应测量分配给处理个体和控制个体之间的平均结果的差异。在随机试验中，平均处理效应可以通过比较样本在处理个体和未处理个体的平均结果进行估计获得。然而，平均处理效应通常被理解为研究人员希望知道的一个因果参数 (即一个总体的估计或属性) ，定义时不参考试验设计或估计过程。观察性研究和随机赋值的实验性研究设计都可以用多种方式进行估计平均处理效应。
一般性定义 General definition
处理 (Treatment)一词起源于农业和医药领域的早期统计分析，现在被更广泛地用于自然科学和社会科学的其他领域，尤其是心理学、政治科学和经济学，例如评价公共政策的影响。试验中的处理或结果 (Outcome)的具体内容在评估平均处理效应时相对而言并不重要，也就是说，平均处理效应估算要求对某些个体进行处理，但不处理其他个体，但处理具体内容(例如药物、奖励性支付、政治广告)与平均处理效应的定义和估计无关。
“处理效应”一词是指某一特定处理或干预 (如给予某种药物)对结果变量(如病人的康复)的因果影响 (Causal Effect)。在因果关系的 Neyman-Rubin“潜在结果框架”中，处理效应被定义为每个独立个体的两个“潜在结果”，如果该个体给予处理，就会显现一种结果； 如果该个体不给予处理，就会显现出另一种结果。“处理效果”是这两种潜在结果之间的差异。然而，这种个体水平的处理效果是不可观察到的，因为每个独立个体只能接受处理或不接受处理，但不能同时接受和不接受。随机分配需要确保给处理组的个体和对照组的个体在大量迭代实验上是服从同分布。事实上，两组中的个体在协变量和潜在结果上的分布是相同的。因此，处理个体之间的平均结果是控制个体的平均结果的反事实。这两个平均值之间的差异是平均处理效应 ，这是不可观测到的个体层面的处理效果的中心趋势的估计。[1]如果样本是从总体中随机构成，那么样本平均处理效应 (Sample Average Treatment Effect， SATE)也是总体平均处理效应 (Population Average Treatment Effect，PATE)的估计值。[2]
虽然实验确保了潜在结果以及所有协变量在处理组和对照组中的等价分布，但是在观察性研究中，情况并非如此。在观察性研究中，处理组和对照组个体并不服从随机分布，因此处理个体可能取决于未观测到或不可观测的因素。观察到的因素可以在统计学上加以控制 (如通过回归或匹配) ，但是任何关于平均处理效应的估计都可能与不可观察因素混淆，这些因素影响了哪些个体接受了处理，哪些个体没有接受处理。
形式化定义 Formal definition
为了形式化定义平均处理效应，我们定义了两个潜在的结果: [math]\displaystyle{ y_{0}(i) }[/math] 是个体 [math]\displaystyle{ i }[/math] 没有被处理时的结果变量的取值，[math]\displaystyle{ y _ {1}(i) }[/math] 是个体 [math]\displaystyle{ i }[/math] 被处理时的结果变量的取值。例如，[math]\displaystyle{ y_{0}(i) }[/math] 是个体 [math]\displaystyle{ i }[/math] 没有被注射研究药物时的健康状态，[math]\displaystyle{ y_{1}(i) }[/math] 是个体 [math]\displaystyle{ i }[/math] 被注射药物时的健康状态。
个体 [math]\displaystyle{ i }[/math] 的处理效应定义为 [math]\displaystyle{ y_{1}(i)-y_{0}(i) = \beta (i) }[/math] 。在一般情况下，这种处理效果在个体之间是不一样的。平均处理效果[math]\displaystyle{ \text{ATE} }[/math]的定义为
- [math]\displaystyle{ \text{ATE} = \frac{1}{N}\sum_i (y_{1}(i)-y_{0}(i)) }[/math]
这里对总体中所有N数量个体的处理效应进行了聚合平均计算。
如果我们能观察到一个大型代表性样本中每个个体的[math]\displaystyle{ y _ {1}(i) }[/math] 和 [math]\displaystyle{ y _ {0}(i) }[/math] ，我们可以简单地通过取样本中 [math]\displaystyle{ y _ {1}(i)-y _ {0}(i) }[/math] 的平均值来估计平均处理效应。然而，我们不能同时观察每个个体的[math]\displaystyle{ y _ {1}(i)、y _ {0}(i) }[/math]，因为每个个体不能同时被处理和不被处理。例如，在药物例子中，我们只能观察到个体接受过药物治疗的[math]\displaystyle{ y _ {1}(i) }[/math] 和个体未接受药物的 [math]\displaystyle{ y _ {0}(i) }[/math] 。这是研究者们在评估治疗效果时面临的主要问题，并因此引发了大量与估计方法相关的研究。
估计 Estimation
根据数据及其潜在环境的不同，我们可以使用许多方法来估计平均处理效应[math]\displaystyle{ \text{ATE} }[/math]。最常见方法包括:
- 自然实验 Natural Experiment
- 双重差分模型 Difference in Differences
- 断点回归设计 Regression Discontinuity Design
- 倾向评分匹配 Propensity Score Matching
- 工具变量估计 Instrumental Variables Estimation
示例 An example
考虑一个失业群体，对其中一些个体给与政策干预（处理组），其余的不做任何处理（控制组）。现需要计算求职监控政策（干预）对失业期长短的影响: 平均来说，如果对个体进行求职监控（给与干预），失业期会缩短多少？在选择一种干预这种情况下，平均处理效应是处理组和对照组的失业时间长度的期望值（平均值）差异。
在这个例子中，平均处理效应为正值意味着就业政策延长了失业期，平均处理效应为负值表明就业政策缩短了失业期。平均处理效应等于零表明提供就业政策对失业期长短并没有任何利处或不利。判断一个平均处理效应估计值是否为可以区分的零值需要进行统计推断。
因为平均处理效应是对处理的平均效果估计，正值或者负值平均处理效应并不表明处理对任意特定个体是有益或者有害。因此，平均处理效应忽略了处理效应的分布。即使平均处理效应是正值，总体的部分个体也可能因为这种处理或者干预而使得情况变得更糟。
异质处理效应 Heterogenous treatment effects
一些研究人员将处理效果依赖于个体的情况称之为“异质性”。例如，上面提到的求职监控政策依赖于性别（男、女）或者是区域的不同。
一种异质处理效应的研究方法是将研究数据进行分组 (如按照男、女性别，或者区域进行划分) ，比较平均处理效果在子组内的效应差异。每个子组的平均处理效应被称为“条件平均处理效应”(Conditional Average Treatment Effect，CATE) ，也就是说，每个子组的平均处理效应被称为条件平均处理效应，以子组内的分类方式为条件。
这种研究方法存在的一个问题是，子组的数据可能比未分组的数据要少得多，没有足够数据进行分析。
也有一些利用随机森林检测异质处理效应的相关工作[3][4]。
扩展阅读 Further reading
- Wooldridge, Jeffrey M. (2013). "Policy Analysis with Pooled Cross Sections". Introductory Econometrics: A Modern Approach. Mason, OH: Thomson South-Western. pp. 438–443. ISBN 978-1-111-53104-1.
编者推荐
书籍推荐
关于因果的讨论很多，但是许多入门的教材只是为没有统计学基础的读者介绍如何使用统计学技术处理因果性问题，而没有讨论因果模型和因果参数，本书希望协助具有基础统计学知识的教师和学生应对几乎在所有自然科学和社会科学非试验研究中存在的因果性问题。本书聚焦于用简单和自然的方法定义因果参数，并且说明在观察研究中，哪些假设对于估计参数是必要的。我们也证明这些假设可以用显而易见的数学形式描述出来，也可以用简单的数学工具将这些假设转化为量化的因果关系，如治疗效果和政策干预，以确定其可检测的内在关系。
课程推荐
- 这个视频内容来自集智俱乐部读书会-因果科学与Causal AI读书会第二季内容的分享，由英国剑桥大学及其学习组博士陆超超详细的阐述了潜在结果模型和结果因果模型，并介绍了两个框架的相互转化规律。
- 1. 讲述因果推断的两大框架：潜在结果模型和结构因果模型，讨论他们各自的优缺点以及他们之间的联系，详细介绍他们之间的转化规律。
- B站搬运的杜克大学社会科学研究中心的分享视频，介绍了在使用匹配方法时会涉及到的ATT、CATE、ATE的方法
文章总结
- 知乎上RandomWalk总结的关于因果推断之Potential Outcome Framework的内容，其中提到因果退镀and额目标就是从观测数据中估计treatment effect。
- Mesonychid在自己的个人主页上分享的关于Donald-Rubin潜在结果模型的解释。
- Yishi Lin在自己的个人主页上分享的关于因果推断的一些介绍因果推断漫谈（一）：掀开 “因果推断” 的面纱
相关路径
- 因果科学与Casual AI读书会必读参考文献列表，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。
- 因果推断方法概述,这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。
- 因果科学和 Causal AI入门路径，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。
参考文献 References
- ↑ Holland, Paul W. (1986). "Statistics and Causal Inference". Journal of the American Statistical Association. 81 (396): 945–960. JSTOR 2289064.
- ↑ Imai, Kosuke; King, Gary; Stuart, Elizabeth A. (2008). "Misunderstandings Between Experimentalists and Observationalists About Causal Inference". Journal of the Royal Statistical Society, Series. 171 (2): 481–502.
- ↑ https://arxiv.org/abs/1510.04342
- ↑ https://www.markhw.com/blog/causalforestintro
本中文词条由Janeway用户参与编译，LFZ参与审校，思无涯咿呀咿呀编辑，欢迎在讨论页面留言。
本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。