辛普森悖论

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
我是猫讨论 | 贡献2022年6月5日 (日) 19:13的版本
跳到导航 跳到搜索

辛普森悖论 Simpson's paradox是一个统计学悖论。它是以Edward H. Simpson的名字命名的,他是一位英国统计学家,在1951年第一次描述了它[1]。统计学家卡尔·皮尔森在1899年描述了一个非常相似的效应[2]。- Udny Yule 的描述可以追溯到1903年[3]。有时,这种现象被称为“尤尔-辛普森效应”。当观察小组的统计分数时,这些分数可能会发生变化,这取决于小组是逐一观察,还是将它们合并成一个更大的小组。这种情况经常发生在社会科学和医学统计中[4]。如果用频率数据来解释因果关系[5],人们可能会感到困惑。悖论的其他名称还包括反转悖论和合并悖论[6].


样例:肾结石治疗

这是一个真实的例子,来自一项医学研究[7],比较两种治疗肾结石的成功率[8]


下表显示了治疗小肾结石和大肾结石的成功率和治疗次数,其中治疗A包括所有开放手术,治疗B是经皮肾镜取石术:

治疗方案A 治疗方案B
成功 失败 成功 失败
小肾结石 第一组 第二组
患者数量 81 6 234 36
93% 7% 87% 13%
大肾结石 第三组 第四组
患者数量 192 71 55 25
73% 27% 69% 31%
既有小肾结石也有大肾结石 第一组和第三组 第二组和第四组
患者数量 273 77 289 61
78% 22% 83% 17%


一个自相矛盾的结论是,A疗法对小结石更有效,对大结石也更有效,而B疗法在同时考虑两种大小时更有效。在这个例子中,还不知道肾结石的大小会影响结果。这在统计学中称为隐藏变量(或隐藏变量)。


哪种治疗方法更好是由两个比率(成功率/总成功率)之间的不平等决定的。造成辛普森悖论的两个比率之间不平等的逆转,是因为两种效应同时发生:

1、当忽略隐藏变量时,组的大小是非常不同的。医生倾向于对严重的病例(大结石)给予较好的治疗(A) ,对较轻的病例(小结石)给予较差的治疗(B)。因此,总数由第三组和第二组支配,而不是由规模小得多的第一组和第四组支配。
2、潜伏变量对比率有很大的影响,也就是说成功率更多地受到病情严重程度的影响,而不是治疗方法的选择。因此,治疗 A组(第三组)大结石患者的情况比治疗小结石患者差,即使后者采用劣等治疗 B 组(第二组)。

避免辛普森悖论

混杂变量

在上述的事例中,出现辛普森悖论的很大一个原因是由于存在隐藏变量,因此这便提醒我们,在进行变量设计时,一是要尽量多查阅文献以了解自变量,因变量及其他重要变量之间的关系,二是需要相关的经验,能够敏锐的察觉到某个变量的重要性。

这个重要潜伏变量指的是与实验分析的因果都有关系的变量,这一变量的缺失可能会掩盖或颠倒研究变量的原有关系。

比如在录取率这个例子中,专业既与录取率有关,不同专业难度不同,录取率自然有差异,又与性别有关,女生和男生趋向报考的专业不同。因此专业就是一个重要潜伏变量。

样本选择偏差

某些研究在变量设计上用心良苦,但却忽略了抽取样本的代表性。关于抽烟和肺癌两者相关性的研究想必大家都有所耳闻,有些实验在进行简单二元分析后得出抽烟和患肺癌没有相关性,从而得出抽烟对身体没有危害甚至有益身体的结论,但当增加一个变量,例如性别时,我们却又发现抽烟不论是对男女都有一定程度的危害。这个例子其实涉及幸存者的问题,但更大的原因是由于样本抽取不科学,存在抽样选择性误差。

这警醒我们,在进行抽样调查时应学会选择合适的抽样方法或多种抽样方法并存,保证抽取的样本处于远离极端范围的中间区域即可。同时在进行非比例抽样时,应考虑权重的问题。

参考文献

  1. Simpson, Edward H. (1951). "The Interpretation of Interaction in Contingency Tables". Journal of the Royal Statistical Society, Ser. B. 13: 238–241
  2. Pearson, Karl; Lee, A.; Bramley-Moore, L. (1899). "Genetic (reproductive) selection: Inheritance of fertility in man". Philosophical Translations of the Royal Statistical Society, Ser. A. 173: 534–539
  3. G. U. Yule (1903). "Notes on the Theory of Association of Attributes in Statistics". Biometrika. 2 (2): 121–134. doi:10.1093/biomet/2.2.121
  4. Clifford H. Wagner (February 1982). "Simpson's Paradox in Real Life". The American Statistician. 36 (1): 46–48. doi:10.2307/2684093. JSTOR 2684093.
  5. Judea Pearl. Causality: Models, Reasoning, and Inference, Cambridge University Press (2000, 2nd edition 2009). ISBN 0-521-77362-8.
  6. I. J. Good, Y. Mittal (June 1987). "The Amalgamation and Geometry of Two-by-Two Contingency Tables". The Annals of Statistics. 15 (2): 694–711. doi:10.1214/aos/1176350369. ISSN 0090-5364. JSTOR 2241334.
  7. C. R. Charig; D. R. Webb; S. R. Payne; O. E. Wickham (29 March 1986). "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy". Br Med J (Clin Res Ed). 292 (6524): 879–882. doi:10.1136/bmj.292.6524.879. PMC 1339981. PMID 3083922.
  8. Steven A. Julious and Mark A. Mullee (1994-12-03). "Confounding and Simpson's paradox". BMJ. 309 (6967): 1480–1481. doi:10.1136/bmj.309.6967.1480. PMC 2541623. PMID 7804052


编者推荐

集智课程

因果科学读书会第三季:因果+X

“因果”并不是一个新概念,而是一个已经在多个学科中使用了数十年的分析技术。通过前两季的分享,我们主要梳理了因果科学在计算机领域的前沿进展。如要融会贯通,我们需要回顾数十年来在社会学、经济学、医学、生物学等多个领域中,都是使用了什么样的因果模型、以什么样的范式、解决了什么样的问题。我们还要尝试进行对比和创新,看能否以现在的眼光,用其他的模型,为这些研究提供新的解决思路。


“因果+X”就是要让因果真正地应用于我们的科学研究中,不管你是来自计算机、数理统计领域,还是社会学、经济学、管理学领域,还是医学、生物学领域,我们希望共同探究出因果研究的范式,真正解决因果的多学科应用问题,乃至解决工业界的问题。



本中文词条由我是猫翻译,薄荷编辑,如有问题,欢迎在讨论页面留言。


本词条内容源自wikipedia及公开资料,遵守 CC3.0协议。