“可忽略性”的版本间的差异
| 第1行: | 第1行: | ||
{{#seo: | {{#seo: | ||
| − | |keywords= | + | |keywords=实验设计,因果推断,可忽略性 |
| − | |description= | + | |description=是实验设计的一种特征 |
}} | }} | ||
| − | + | 在[[统计学]]中,'''可忽略性'''是实验设计的一种特征,即数据收集方式(以及缺失数据的性质)不依赖于缺失数据。若在给定已观测数据的条件下,表示哪些变量被观测到或缺失的缺失数据指示矩阵与缺失数据独立,则称该数据缺失机制(例如处理分配或抽样调查策略)是“可忽略的”。 | |
| − | |||
| + | 这个想法是20世纪70年代早期[[Donald Rubin]]和[[Paul R. Rosenbaum|Paul Rosenbaum]] 合作提出的[[鲁宾因果推理模型 Rubin Causal Model]]的一部分。但那时,他们文章中可忽略性的确切定义不同。1978年鲁宾在一篇文章中讨论了''可忽略的分配机制''<ref name="rubin78">{{cite journal |last1=Rubin |first1=Donald |title=Bayesian Inference for Causal Effects: The Role of Randomization |journal=The Annals of Statistics |date=1978 |volume=6 |issue=1 |pages=34–58|doi=10.1214/aos/1176344064 |doi-access=free }}</ref> ,其可理解为将个体分配到处理组的方式与数据分析无关,因为已经记录了有关该个体的所有信息。后来,在 1983 年,Rubin 和 Rosenbaum 更确切地定义了“处理分配的强可忽略性”<ref>{{cite journal |last1=Rubin |first1=Donald B. |last2=Rosenbaum |first2=Paul R. |title=The Central Role of the Propensity Score in Observational Studies for Causal Effects |journal=Biometrika |date=1983 |volume=70 |issue=1 |pages=41–55 |doi=10.2307/2335942 |jstor=2335942 |doi-access=free }}</ref>,这是一个更强的假设条件,数学上表示为<math>(r_1,r_0) \perp \!\!\!\perp z \mid v ,\quad 0<\operatorname{pr}(z=1)<1 \quad \forall v</math>,其中<math>r_t</math>是给定处理状态 <math>t</math>下的潜在结果,<math>v</math> 是协变量,<math>z</math> 是实际的处理状态。 | ||
| − | |||
| − | + | Pearl在2000年设计了一个简单的图形准则,称为“后门 back-door” ,它需要可忽略性并能识别满足后门准则条件的协变量集。 | |
| − | + | 可忽略性(或外生性)的简明含义是,当涉及潜在结果(Y)时,我们可以忽略一个人是怎样最终处于一个群体中而非另一个群体中(“处理组”Tx = 1,或“控制组”Tx = 0)。它也被称为无混淆杂性、基于可观测变量的选择或无遗漏变量偏差<ref>{{cite journal|last1=Yamamoto|first1=Teppei|title=Understanding the Past: Statistical Analysis of Causal Attribution|journal=Journal of Political Science|date=2012|volume=56|issue=1|pages=237–256|doi=10.1111/j.1540-5907.2011.00539.x|hdl=1721.1/85887}}</ref>。 | |
| − | |||
| + | 其数学形式可记为:[Y<sub>i</sub>1, Y<sub>i</sub>0] ⊥ Tx<sub>i</sub> ;或者用文字表述为:个体“i”是否接受处理的潜在结果Y并不取决于他们是否真的(可观测到的)接受处理。换句话说,个体最终是通过什么方式处于一种与另一种处理状态我们是可忽略的,并将其潜在结果视为等价可交换的。 虽然这看起来很复杂,但如果用下标表示“已实现”的真实处理状态,用上标表示“理想”(潜在)世界的处理状态,就会变得很清楚。(符号的提出可参考[https://www.cambridge.org/core/books/statistical-models-and-causal-inference/7CE8D4957FF6E9615AAAC4128FA8246E David Freedman];可视化帮助文档可参考:[https://drive.google.com/open?id=1nLHHH0il225LIy33nRiH3ZfgoX1_-_V9 potential outcomes simplified]). | ||
| − | |||
| − | + | 所以,如果个体接受处理(上角标为 <sup>1</sup>),其对应的潜在结果Y为Y<sub>1</sub><sup>1</sup>/*Y<sub>0</sub><sup>1</sup>,实际上它们可观测的结果是(Y<sub>1</sub><sup>1</sup>, 下角标也为 <sub>1</sub>) ,而不是*Y<sub>0</sub><sup>1</sup>。注意:* 表示这个值是无法获取或不可观测的,即''完全与事实相反''或称为反事实 counterfactual(CF)。 | |
| − | + | 同样,如果个体未接受处理(上角标为 <sup>0</sup>), 其对应的潜在结果Y为*Y<sub>1</sub><sup>0</sup>/Y<sub>0</sub><sup>0</sup>。在现实中它们是(Y<sub>0</sub><sup>0</sup>),而不是(*Y<sub>1</sub><sup>0</sup>)。 | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
对于相同的处理分配条件,每个潜在结果(PO)中只有一个是实际发生可观测的,而另一个不会发生也无法观测,所以当我们尝试估计处理效应时,需要用可观测值(或估计值)来替代无法观测的反事实结果。当可忽略性/外生性成立时,例如个体是否接受处理是随机的,此时可利用已观测的 Y<sub>1</sub><sup>1</sup>'替换'*''Y''<sub>0</sub><sup>1</sup>,利用已观测的 Y<sub>0</sub><sup>0</sup>'替换'*''Y''<sub>1</sub><sup>0</sup>,不是个人层面的Y<sub>i</sub>,而是从平均角度出发,如 E[''Y''<sub>''i''</sub><sup>1</sup> – ''Y''<sub>''i''</sub><sup>0 </sup>],这正是大家尝试获取的因果处理效应(TE)。 | 对于相同的处理分配条件,每个潜在结果(PO)中只有一个是实际发生可观测的,而另一个不会发生也无法观测,所以当我们尝试估计处理效应时,需要用可观测值(或估计值)来替代无法观测的反事实结果。当可忽略性/外生性成立时,例如个体是否接受处理是随机的,此时可利用已观测的 Y<sub>1</sub><sup>1</sup>'替换'*''Y''<sub>0</sub><sup>1</sup>,利用已观测的 Y<sub>0</sub><sup>0</sup>'替换'*''Y''<sub>1</sub><sup>0</sup>,不是个人层面的Y<sub>i</sub>,而是从平均角度出发,如 E[''Y''<sub>''i''</sub><sup>1</sup> – ''Y''<sub>''i''</sub><sup>0 </sup>],这正是大家尝试获取的因果处理效应(TE)。 | ||
| − | + | 由于“一致性准则 consistency rule”,潜在结果可利用实际观测值表示:Y<sub>i</sub><sup>0</sup> = Y<sub>i0</sub><sup>0</sup> ; Y<sub>i</sub><sup>1</sup> = Y<sub>i1</sub><sup>1</sup>(“一致性准则指出,个体的潜在结果正是该个体的实际产生结果<ref>{{cite journal|last1=Pearl|first1=Judea|title=On the consistency rule in causal inference: axiom, definition, assumption, or theorem?|journal=Epidemiology|date=2010|volume=21|issue=6|pages=872–875|doi=10.1097/EDE.0b013e3181f5d3fd|pmid=20864888}}</ref> p. 872)。 所以,TE = E[Y<sub>i</sub><sup>1</sup> – Y<sub>i</sub><sup>0</sup>] = E[Y<sub>i1</sub><sup>1</sup> – Y<sub>i0</sub><sup>0</sup>]。 | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
现在,我们通过简单的加减相同的完全反事实量 *Y<sub>1</sub><sup>0</sup> 得到: | 现在,我们通过简单的加减相同的完全反事实量 *Y<sub>1</sub><sup>0</sup> 得到: | ||
E[Y<sub>i1</sub><sup>1</sup> – Y<sub>i0</sub><sup>0</sup>] = E[Y<sub>i1</sub><sup>1</sup> –*Y<sub>1</sub><sup>0</sup> +*Y<sub>1</sub><sup>0</sup> - Y<sub>i0</sub><sup>0</sup>] = E[Y<sub>i1</sub><sup>1</sup> –*Y<sub>1</sub><sup>0</sup>] + E[*Y<sub>1</sub><sup>0</sup> - Y<sub>i0</sub><sup>0</sup>] = ATT + {选择性偏差}, | E[Y<sub>i1</sub><sup>1</sup> – Y<sub>i0</sub><sup>0</sup>] = E[Y<sub>i1</sub><sup>1</sup> –*Y<sub>1</sub><sup>0</sup> +*Y<sub>1</sub><sup>0</sup> - Y<sub>i0</sub><sup>0</sup>] = E[Y<sub>i1</sub><sup>1</sup> –*Y<sub>1</sub><sup>0</sup>] + E[*Y<sub>1</sub><sup>0</sup> - Y<sub>i0</sub><sup>0</sup>] = ATT + {选择性偏差}, | ||
| + | |||
其中,第一项 ATT = 处理组的平均处理效应<ref>{{cite journal|last1=Imai|first1=Kosuke|title=Misunderstandings between experimentalists and observationalists about causal inference|journal=Journal of the Royal Statistical Society, Series A (Statistics in Society)|date=2006|volume=171|issue=2|pages=481–502|doi=10.1111/j.1467-985X.2007.00527.x|url=http://nrs.harvard.edu/urn-3:HUL.InstRepos:4142695}}</ref>,第二项是当个体可选择属于“处理”组或“控制”组而非完全随机分配时引入的偏差。 | 其中,第一项 ATT = 处理组的平均处理效应<ref>{{cite journal|last1=Imai|first1=Kosuke|title=Misunderstandings between experimentalists and observationalists about causal inference|journal=Journal of the Royal Statistical Society, Series A (Statistics in Society)|date=2006|volume=171|issue=2|pages=481–502|doi=10.1111/j.1467-985X.2007.00527.x|url=http://nrs.harvard.edu/urn-3:HUL.InstRepos:4142695}}</ref>,第二项是当个体可选择属于“处理”组或“控制”组而非完全随机分配时引入的偏差。 | ||
| − | + | 无论是普通的还是在给定一些变量条件下的可忽略性,都意味着这种选择偏差可以被忽略或消除,因此人们可以得到(或估计)因果效应。 | |
| − | |||
| − | |||
==参考文献 == | ==参考文献 == | ||
| − | + | <references/> | |
*{{cite paper |title=Bayesian Inference for Causal Effects: The Role of Randomization |first=Rubin|last=Donald |journal= The Annals of Statistics |year=1978 |volume=6(1) |pages=34–58|doi=10.1214/aos/1176344064}} | *{{cite paper |title=Bayesian Inference for Causal Effects: The Role of Randomization |first=Rubin|last=Donald |journal= The Annals of Statistics |year=1978 |volume=6(1) |pages=34–58|doi=10.1214/aos/1176344064}} | ||
*{{cite paper |arxiv=1109.2143 |title=The Central Role of the Propensity Score in Observational Studies for Causal Effects |first=Rubin|last=Donald B.|first2=Rosenbaum|last2=Paul R.|journal= Biometrika |year=1983 |volume=70(1) |pages=41–55|doi=10.2307/2335942}} | *{{cite paper |arxiv=1109.2143 |title=The Central Role of the Propensity Score in Observational Studies for Causal Effects |first=Rubin|last=Donald B.|first2=Rosenbaum|last2=Paul R.|journal= Biometrika |year=1983 |volume=70(1) |pages=41–55|doi=10.2307/2335942}} | ||
| 第70行: | 第49行: | ||
*{{cite paper |title=On the consistency rule in causal inference: axiom, definition, assumption, or theorem? |first=Pearl|last=Judea |journal= Epidemiology|year=2010 |volume= 21 (6) |pages= 872–875|doi=10.1097/EDE.0b013e3181f5d3fd}} | *{{cite paper |title=On the consistency rule in causal inference: axiom, definition, assumption, or theorem? |first=Pearl|last=Judea |journal= Epidemiology|year=2010 |volume= 21 (6) |pages= 872–875|doi=10.1097/EDE.0b013e3181f5d3fd}} | ||
*{{cite paper |title=Misunderstandings between experimentalists and observationalists about causal inference |first=Imai|last=Kosuke |journal= Epidemiology|year=2006 |volume= 171 (2) |pages= 481–502|doi=10.1111/j.1467-985X.2007.00527.x}} | *{{cite paper |title=Misunderstandings between experimentalists and observationalists about causal inference |first=Imai|last=Kosuke |journal= Epidemiology|year=2006 |volume= 171 (2) |pages= 481–502|doi=10.1111/j.1467-985X.2007.00527.x}} | ||
| + | |||
== 推荐阅读 == | == 推荐阅读 == | ||
| 第78行: | 第58行: | ||
*{{cite paper |arxiv=1109.2143 |title=Ignorability in Statistical and Probabilistic Inference |first=Manfred |last=Jaeger |journal=Journal of Artificial Intelligence Research |year=2011 |volume=24 |pages=889–917 |doi=10.1613/jair.1657 |bibcode=2011arXiv1109.2143J }} | *{{cite paper |arxiv=1109.2143 |title=Ignorability in Statistical and Probabilistic Inference |first=Manfred |last=Jaeger |journal=Journal of Artificial Intelligence Research |year=2011 |volume=24 |pages=889–917 |doi=10.1613/jair.1657 |bibcode=2011arXiv1109.2143J }} | ||
| + | |||
| + | == 相关课程== | ||
| + | |||
| + | |||
| + | |||
---- | ---- | ||
| − | 本中文词条由[[用户:shlay|shlay]]用户参与编译,[[用户:PengWu|PengWu]]参与审校,[[用户:思无涯咿呀咿呀|思无涯咿呀咿呀]]编辑,欢迎在讨论页面留言。 | + | 本中文词条由[[用户:shlay|shlay]]用户参与编译,[[用户:PengWu|PengWu]]参与审校,[[用户:思无涯咿呀咿呀|思无涯咿呀咿呀]]、[[用户:薄荷|薄荷]]编辑,欢迎在讨论页面留言。 |
'''本词条内容源自wikipedia及公开资料,遵守 CC3.0协议。''' | '''本词条内容源自wikipedia及公开资料,遵守 CC3.0协议。''' | ||
2021年6月9日 (三) 20:41的版本
在统计学中,可忽略性是实验设计的一种特征,即数据收集方式(以及缺失数据的性质)不依赖于缺失数据。若在给定已观测数据的条件下,表示哪些变量被观测到或缺失的缺失数据指示矩阵与缺失数据独立,则称该数据缺失机制(例如处理分配或抽样调查策略)是“可忽略的”。
这个想法是20世纪70年代早期Donald Rubin和Paul Rosenbaum 合作提出的鲁宾因果推理模型 Rubin Causal Model的一部分。但那时,他们文章中可忽略性的确切定义不同。1978年鲁宾在一篇文章中讨论了可忽略的分配机制[1] ,其可理解为将个体分配到处理组的方式与数据分析无关,因为已经记录了有关该个体的所有信息。后来,在 1983 年,Rubin 和 Rosenbaum 更确切地定义了“处理分配的强可忽略性”[2],这是一个更强的假设条件,数学上表示为[math]\displaystyle{ (r_1,r_0) \perp \!\!\!\perp z \mid v ,\quad 0\lt \operatorname{pr}(z=1)\lt 1 \quad \forall v }[/math],其中[math]\displaystyle{ r_t }[/math]是给定处理状态 [math]\displaystyle{ t }[/math]下的潜在结果,[math]\displaystyle{ v }[/math] 是协变量,[math]\displaystyle{ z }[/math] 是实际的处理状态。
Pearl在2000年设计了一个简单的图形准则,称为“后门 back-door” ,它需要可忽略性并能识别满足后门准则条件的协变量集。
可忽略性(或外生性)的简明含义是,当涉及潜在结果(Y)时,我们可以忽略一个人是怎样最终处于一个群体中而非另一个群体中(“处理组”Tx = 1,或“控制组”Tx = 0)。它也被称为无混淆杂性、基于可观测变量的选择或无遗漏变量偏差[3]。
其数学形式可记为:[Yi1, Yi0] ⊥ Txi ;或者用文字表述为:个体“i”是否接受处理的潜在结果Y并不取决于他们是否真的(可观测到的)接受处理。换句话说,个体最终是通过什么方式处于一种与另一种处理状态我们是可忽略的,并将其潜在结果视为等价可交换的。 虽然这看起来很复杂,但如果用下标表示“已实现”的真实处理状态,用上标表示“理想”(潜在)世界的处理状态,就会变得很清楚。(符号的提出可参考David Freedman;可视化帮助文档可参考:potential outcomes simplified).
所以,如果个体接受处理(上角标为 1),其对应的潜在结果Y为Y11/*Y01,实际上它们可观测的结果是(Y11, 下角标也为 1) ,而不是*Y01。注意:* 表示这个值是无法获取或不可观测的,即完全与事实相反或称为反事实 counterfactual(CF)。
同样,如果个体未接受处理(上角标为 0), 其对应的潜在结果Y为*Y10/Y00。在现实中它们是(Y00),而不是(*Y10)。
对于相同的处理分配条件,每个潜在结果(PO)中只有一个是实际发生可观测的,而另一个不会发生也无法观测,所以当我们尝试估计处理效应时,需要用可观测值(或估计值)来替代无法观测的反事实结果。当可忽略性/外生性成立时,例如个体是否接受处理是随机的,此时可利用已观测的 Y11'替换'*Y01,利用已观测的 Y00'替换'*Y10,不是个人层面的Yi,而是从平均角度出发,如 E[Yi1 – Yi0 ],这正是大家尝试获取的因果处理效应(TE)。
由于“一致性准则 consistency rule”,潜在结果可利用实际观测值表示:Yi0 = Yi00 ; Yi1 = Yi11(“一致性准则指出,个体的潜在结果正是该个体的实际产生结果[4] p. 872)。 所以,TE = E[Yi1 – Yi0] = E[Yi11 – Yi00]。
现在,我们通过简单的加减相同的完全反事实量 *Y10 得到:
E[Yi11 – Yi00] = E[Yi11 –*Y10 +*Y10 - Yi00] = E[Yi11 –*Y10] + E[*Y10 - Yi00] = ATT + {选择性偏差},
其中,第一项 ATT = 处理组的平均处理效应[5],第二项是当个体可选择属于“处理”组或“控制”组而非完全随机分配时引入的偏差。
无论是普通的还是在给定一些变量条件下的可忽略性,都意味着这种选择偏差可以被忽略或消除,因此人们可以得到(或估计)因果效应。
参考文献
- ↑ Rubin, Donald (1978). "Bayesian Inference for Causal Effects: The Role of Randomization". The Annals of Statistics. 6 (1): 34–58. doi:10.1214/aos/1176344064.
- ↑ Rubin, Donald B.; Rosenbaum, Paul R. (1983). "The Central Role of the Propensity Score in Observational Studies for Causal Effects". Biometrika. 70 (1): 41–55. doi:10.2307/2335942. JSTOR 2335942.
- ↑ Yamamoto, Teppei (2012). "Understanding the Past: Statistical Analysis of Causal Attribution". Journal of Political Science. 56 (1): 237–256. doi:10.1111/j.1540-5907.2011.00539.x. hdl:1721.1/85887.
- ↑ Pearl, Judea (2010). "On the consistency rule in causal inference: axiom, definition, assumption, or theorem?". Epidemiology. 21 (6): 872–875. doi:10.1097/EDE.0b013e3181f5d3fd. PMID 20864888.
- ↑ Imai, Kosuke (2006). "Misunderstandings between experimentalists and observationalists about causal inference". Journal of the Royal Statistical Society, Series A (Statistics in Society). 171 (2): 481–502. doi:10.1111/j.1467-985X.2007.00527.x.
- Donald, Rubin (1978). "Bayesian Inference for Causal Effects: The Role of Randomization". The Annals of Statistics. 6(1): 34–58. doi:10.1214/aos/1176344064.
- Donald B., Rubin; Paul R., Rosenbaum (1983). "The Central Role of the Propensity Score in Observational Studies for Causal Effects". Biometrika. 70(1): 41–55. arXiv:1109.2143. doi:10.2307/2335942.
- Teppei, Yamamoto (1983). "The Central Role of the Propensity Score in Observational Studies for Causal Effects". Journal of Political Science. 56 (1): 237–256. doi:10.1111/j.1540-5907.2011.00539.x.
- Judea, Pearl (2010). "On the consistency rule in causal inference: axiom, definition, assumption, or theorem?". Epidemiology. 21 (6): 872–875. doi:10.1097/EDE.0b013e3181f5d3fd.
- Kosuke, Imai (2006). "Misunderstandings between experimentalists and observationalists about causal inference". Epidemiology. 171 (2): 481–502. doi:10.1111/j.1467-985X.2007.00527.x.
推荐阅读
- Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. (2004). Bayesian Data Analysis. New York: Chapman & Hall/CRC.
- Pearl, Judea (2000). Causality: Models, Reasoning, and Inference. Cambridge University Press. https://archive.org/details/causalitymodelsr0000pear.
- Jaeger, Manfred (2011). "Ignorability in Statistical and Probabilistic Inference". Journal of Artificial Intelligence Research. 24: 889–917. arXiv:1109.2143. Bibcode:2011arXiv1109.2143J. doi:10.1613/jair.1657.
相关课程
本中文词条由shlay用户参与编译,PengWu参与审校,思无涯咿呀咿呀、薄荷编辑,欢迎在讨论页面留言。
本词条内容源自wikipedia及公开资料,遵守 CC3.0协议。