316
个编辑
更改
跳到导航
跳到搜索
第5行：
第5行： − 该悖论指出：会存在着这样的数据。总体上的统计结果与其每一个子部分的统计结果相反。下附几个样例进行解释：+ − + + + + 第156行：
第159行： − + 第210行：
第213行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
无编辑摘要
'''辛普森悖论 Simpson's paradox'''是一个统计学悖论。它是以Edward H. Simpson的名字命名的，他是一位英国统计学家，在1951年第一次描述了它<ref>Simpson, Edward H. (1951). "The Interpretation of Interaction in Contingency Tables". ''Journal of the Royal Statistical Society, Ser. B''. '''13''': 238–241</ref>。统计学家卡尔·皮尔森在1899年描述了一个非常相似的效应<ref>Pearson, Karl; Lee, A.; Bramley-Moore, L. (1899). "Genetic (reproductive) selection: Inheritance of fertility in man". ''Philosophical Translations of the Royal Statistical Society, Ser. A''. '''173''': 534–539</ref>。- Udny Yule 的描述可以追溯到1903年<ref>G. U. Yule (1903). "Notes on the Theory of Association of Attributes in Statistics". ''Biometrika''. '''2''' (2): 121–134. doi:10.1093/biomet/2.2.121</ref>。有时，这种现象被称为“尤尔-辛普森效应”。当观察小组的统计分数时，这些分数可能会发生变化，这取决于小组是逐一观察，还是将它们合并成一个更大的小组。这种情况经常发生在社会科学和医学统计中<ref>Clifford H. Wagner (February 1982). "Simpson's Paradox in Real Life". ''The American Statistician''. '''36''' (1): 46–48. doi:10.2307/2684093. JSTOR 2684093.</ref>。如果用频率数据来解释因果关系<ref>Judea Pearl. ''Causality: Models, Reasoning, and Inference'', Cambridge University Press (2000, 2nd edition 2009). <nowiki>ISBN 0-521-77362-8</nowiki>.</ref>，人们可能会感到困惑。悖论的其他名称还包括反转悖论和合并悖论<ref>I. J. Good, Y. Mittal (June 1987). "The Amalgamation and Geometry of Two-by-Two Contingency Tables". ''The Annals of Statistics''. '''15''' (2): 694–711. doi:10.1214/aos/1176350369. ISSN 0090-5364. JSTOR 2241334.</ref>.
'''辛普森悖论 Simpson's paradox'''是一个统计学悖论。它是以Edward H. Simpson的名字命名的，他是一位英国统计学家，在1951年第一次描述了它<ref>Simpson, Edward H. (1951). "The Interpretation of Interaction in Contingency Tables". ''Journal of the Royal Statistical Society, Ser. B''. '''13''': 238–241</ref>。统计学家卡尔·皮尔森在1899年描述了一个非常相似的效应<ref>Pearson, Karl; Lee, A.; Bramley-Moore, L. (1899). "Genetic (reproductive) selection: Inheritance of fertility in man". ''Philosophical Translations of the Royal Statistical Society, Ser. A''. '''173''': 534–539</ref>。- Udny Yule 的描述可以追溯到1903年<ref>G. U. Yule (1903). "Notes on the Theory of Association of Attributes in Statistics". ''Biometrika''. '''2''' (2): 121–134. doi:10.1093/biomet/2.2.121</ref>。有时，这种现象被称为“尤尔-辛普森效应”。当观察小组的统计分数时，这些分数可能会发生变化，这取决于小组是逐一观察，还是将它们合并成一个更大的小组。这种情况经常发生在社会科学和医学统计中<ref>Clifford H. Wagner (February 1982). "Simpson's Paradox in Real Life". ''The American Statistician''. '''36''' (1): 46–48. doi:10.2307/2684093. JSTOR 2684093.</ref>。如果用频率数据来解释因果关系<ref>Judea Pearl. ''Causality: Models, Reasoning, and Inference'', Cambridge University Press (2000, 2nd edition 2009). <nowiki>ISBN 0-521-77362-8</nowiki>.</ref>，人们可能会感到困惑。悖论的其他名称还包括反转悖论和合并悖论<ref>I. J. Good, Y. Mittal (June 1987). "The Amalgamation and Geometry of Two-by-Two Contingency Tables". ''The Annals of Statistics''. '''15''' (2): 694–711. doi:10.1214/aos/1176350369. ISSN 0090-5364. JSTOR 2241334.</ref>.
该悖论指出：会存在着这样的数据。总体上的统计结果与其每一个子部分的统计结果相反。下面通过一个实例说明。根据有关统计数据，平均来说，吸烟人群比不吸烟人群收入更高；但是考虑吸烟人群的年龄因素时就可能会发现，在每个年龄组，吸烟人群的收入低于不吸烟的人群，如果再纳入年龄和学历者两个因素，可能就会发现相同年龄和学历的吸烟者比不吸烟收入高。可见，随着考虑的因素增多，统计结果会不断发生逆转。在类似这样的问题中，想要确定吸烟是否会影响收入以及影响有多大，仅从数据来看似乎无法获得准确的答案。
== 例1：肾结石治疗 ==
接下来通过一系列样例，详细了解辛普森悖论的现象。
== 样例1：肾结石治疗 ==
这是一个真实的例子，来自一项医学研究<ref>C. R. Charig; D. R. Webb; S. R. Payne; O. E. Wickham (29 March 1986). "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy". ''Br Med J (Clin Res Ed)''. '''292''' (6524): 879–882. doi:10.1136/bmj.292.6524.879. PMC 1339981. <nowiki>PMID 3083922</nowiki>.</ref>，比较两种治疗肾结石的成功率<ref>Steven A. Julious and Mark A. Mullee (1994-12-03). "Confounding and Simpson's paradox". BMJ. 309 (6967): 1480–1481. doi:10.1136/bmj.309.6967.1480. PMC 2541623. <nowiki>PMID 7804052</nowiki></ref>。
这是一个真实的例子，来自一项医学研究<ref>C. R. Charig; D. R. Webb; S. R. Payne; O. E. Wickham (29 March 1986). "Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy". ''Br Med J (Clin Res Ed)''. '''292''' (6524): 879–882. doi:10.1136/bmj.292.6524.879. PMC 1339981. <nowiki>PMID 3083922</nowiki>.</ref>，比较两种治疗肾结石的成功率<ref>Steven A. Julious and Mark A. Mullee (1994-12-03). "Confounding and Simpson's paradox". BMJ. 309 (6967): 1480–1481. doi:10.1136/bmj.309.6967.1480. PMC 2541623. <nowiki>PMID 7804052</nowiki></ref>。
Bickel 认为，在这个案例中，辛普森悖论出现的原因是，女生更愿意申请那些竞争压力很大的院系（比如英语系），但是男生却更愿意申请那些相对容易进的院系（比如工程学系）
Bickel 认为，在这个案例中，辛普森悖论出现的原因是，女生更愿意申请那些竞争压力很大的院系（比如英语系），但是男生却更愿意申请那些相对容易进的院系（比如工程学系）
== 佛罗里达死刑悖论 ==
== 样例3：佛罗里达死刑悖论 ==
1991年，科罗拉多大学的统计学家 Michael L. Radelet 和东北大学的社会学研究院主任 Glenn Pierce 重新查看了1976-1987年间美国佛罗里达州的谋杀案的审判数据，发现了重大的司法不公正事件。
1991年，科罗拉多大学的统计学家 Michael L. Radelet 和东北大学的社会学研究院主任 Glenn Pierce 重新查看了1976-1987年间美国佛罗里达州的谋杀案的审判数据，发现了重大的司法不公正事件。
|}
|}
由此可见不管被害人是什么种族，黑人比白人更有可能被判死刑，并且对比发现，如果受害人是白人，那么嫌疑人就更容易被判死刑。如果被害人是黑人，嫌疑人被判死刑的可能性很低。可见种族歧视是存在的
由此可见不管被害人是什么种族，黑人比白人更有可能被判死刑，并且对比发现，如果受害人是白人，那么嫌疑人就更容易被判死刑。如果被害人是黑人，嫌疑人被判死刑的可能性很低。可见种族歧视是存在的
== 样例4 一种临床新药试验对比（考虑血压因素） ==
样例4中，我们知道药物会通过减低服药患者的血压来影响痊愈率，但不幸的是药物也会产生副作用。在这种情况下，我们需要根据数据判断是否给患者推荐这种药物。
下表记录治疗后700例患者的血压及其痊愈率。其中，350例患者服药，350例患者不服药。研究结果如下表
{| class="wikitable"
! rowspan="2" |患者
! colspan="2" |患者未服用药物情况
! colspan="2" |患者服用药物情况
|-
|痊愈患者数
|痊愈率/%
|痊愈患者数
|痊愈率/%
|-
|患者血压低
|81例（共87例）
|93
|234例（共270例）
|87
|-
|患者血压高
|192例（共263例）
|73
|55例（共80例）
|69
|-
|合计
|273例（共350例）
|78%
|289例（共350例）
|83
|}
如表所示，第一行是血压患者低的情况下，患者未服用药物和患者服用药物的对比，第二行是血压患者高的情况下，治疗方案A和治疗方案B的对比，对全体受试者而言，服用药物比未服用药物痊愈率更高。但是按照血压进行划分之后，在治疗后血压偏高和治疗后血压偏低的亚群里，我们无法观测到这也的结果，而只能看出因药物副作用而降低痊愈率。
本试验的目的是评价药物痊愈率的总体影响。但是在这个例子中，由于降低血压是药物影响痊愈率的结果之一，所以基于血压的分类就变得没有意义了（如果在治疗前记录患者血压，并且假定仅有血压对治疗有影响，那么情形就不同了）。我们再次统计分析全体受试者的试验数据，发现药物治疗增加了痊愈的可能性，于是我们确定应该推荐药物治疗。
值得注意的是，样例4与前几个样例的区别在于，正确结论体现在总体数据，前几个样例的正确结论体现在分类后数据。
== 辛普森悖论的原因 ==
由前面的例子可知，数据并没有为治疗决策给出足够的信息，例如，无法知道何时测定药物的作用，无法知道药物如何影响血压，也无法知道血压如何影响痊愈率。事实上，正如统计学教科书习惯性指出，相关性不是因果关系，利用统计方法并不能仅根据数据来确定因果关系，因此统计方法无法支持决策。
然而，统计学家一直以这种因果假设来解释数据。事实上，在辛普森悖论中，按性别进行分类后之所以会得到矛盾的结论，其本质源于我们确信治疗不能影响性别，如果可以的话，就不会得到悖论，因为我们可以很容易的假定数据背后的因果关系具有于按血压分类相同的结构，尽管“治疗不能影响性别”这一命题很平凡，但却不能通过数据来验证这一命题，也无法依据标准统计学写出其数学表达式。事实上，以上样例的联列表无法表达任何因果信息，而统计推理又通常是以联列表为基础的。
== 避免辛普森悖论 ==
== 避免辛普森悖论 ==