重随机化 Rerandomization - 版本历史

2022年7月23日 (六) 16:39 我是猫

2022-07-23T16:39:01Z

2022年7月10日 (日) 14:55 是趣木木呀

2022-07-10T14:55:31Z

2022年7月10日 (日) 14:49 是趣木木呀

2022-07-10T14:49:25Z

2022年7月2日 (六) 02:10 是趣木木呀

2022-07-02T02:10:23Z

2022年6月29日 (三) 02:11 是趣木木呀

2022-06-29T02:11:04Z

2022年6月26日 (日) 17:31 是趣木木呀

2022-06-26T17:31:59Z

是趣木木呀：建立内容为“待建立”的新页面

2022-02-22T13:05:23Z

建立内容为“待建立”的新页面

新页面

待建立

@@ 第1行： / 第1行： @@
 在临床上及社会实验中，随机化（Randomization）通常被认为是衡量因果结论的“黄金标准”，因为它平均平衡了各治疗组的基准协变量（baseline covariates），得到了无偏的因果效应。然而，尽管随机化平均平衡了基准协变量，但协变量在某些情况下由于随机机会（Random Chance）仍可能不平衡，进而影响结果的有效性。虽然机会不平衡通常被认为是一种不幸的罕见现象，但实际上是很常见的。例如，仅10个独立协变量，就有40%的几率存在至少一个变量在基线时显著不同（使用α=0.05），而这还是随机情况下！为什么要让RCT方法存在这种风险化，如果基线协变量很重要的话，就应该在进行实验之前检查随机化的平衡，并去除产生不可接受平衡的分配方案。
 为解决以上问题，重随机化（Rerandomization）（Morgan和Rubin，2012）提供了一种可以避免随机化时基线协变量机会不平衡的方法。重随机化的工作方式是在随机化结果不满足预先规定的平衡标准时重新进行随机，直到随即结果符合平衡标准后再开始正式治疗（Treatment）。当平衡标准是客观且事先规定的，并且各治疗组的规模相等时，重随机化可以保持总体无偏，并防止由于机会不平衡而产生的条件偏差。因此，我们既保留了随机化“黄金标准”的优势，同时避免了有害的机会失衡，Tukey（1993）把它称为“白金标准”。
 虽然最初的目的是为了防止混淆，但通过改善协变量平衡，在结果与平衡的协变量相关时，重随机化也可以提高精确度。当然，为了利用这些精度的提高，分析也必须反映重随机化的过程，例如通过基于随机化的推理。而在分析中不考虑重随机性仍将导致“有效”结果，即可以信任显著的p值，I类错误率将不大于所述，置信区间将至少具有标称覆盖率。（The Type I error rate will no larger than as stated, and confidence intervals will have at least the nominal coverage.）然而，结果是保守的意味着如果考虑重随机化，p值可能更小，区间可能更窄。

←上一版本		2022年7月10日 (日) 14:55的版本
第12行：		第12行：

	再随机化实验的统计推断比完全随机化实验的统计推断更加复杂。有一个处理组和一个对照组并使用平方马氏距离准则进行再随机化的情形下，Morgan和Rubin建议使用Fisher随机化检验进行统计推断。由于限制了处理组和对照组之间的协变量分布，所以处理组和对照组的平均结局差异并不再服从正态分布，而是服从一个正态分布和另一个截断正态分布的线性组合。近些年来，再随机化受到了越来越多的关注，例如协变量存在不同重要梯度时的再随机化、序贯实验中的再随机化。		再随机化实验的统计推断比完全随机化实验的统计推断更加复杂。有一个处理组和一个对照组并使用平方马氏距离准则进行再随机化的情形下，Morgan和Rubin建议使用Fisher随机化检验进行统计推断。由于限制了处理组和对照组之间的协变量分布，所以处理组和对照组的平均结局差异并不再服从正态分布，而是服从一个正态分布和另一个截断正态分布的线性组合。近些年来，再随机化受到了越来越多的关注，例如协变量存在不同重要梯度时的再随机化、序贯实验中的再随机化。
		+
		+	==编者推荐==
		+	===集智学园课程推荐===
		+	*[https://campus.swarma.org/course/1798 因果科学与 Causal AI 系列读书会]
		+	图灵奖得主朱迪亚·珀尔教授认为，当下正在进行一场改变数据科学的新革命 ”因果革命“。它以科学为中心，涉及从数据到政策、可解释性、机制的泛化，再到一些社会科学中的归因和公平性问题，甚至哲学中的创造性和自由意志。本季读书会以Elements of Causal Inference一书为线索，主要展现因果科学在机器学习各个方向上的影响，包括强化学习、迁移学习、表示学习等等，并分享在工业界的部分应用成果。本季读书会梳理了因果科学的核心内容，理解它如何改变数据科学，助力 AI 系统超越曲线拟合和获得回答因果问题的能力。
		+	*[https://campus.swarma.org/course/2460 因果科学与Causal AI读书会第二季]
		+	因果推断与机器学习领域的结合已经吸引了越来越多来自学界业界的关注。第一季读书会主要关注了因果科学在机器学习方向上的前沿应用，为深入探讨、普及推广因果科学议题，第二季读书会着力于实操性、基础性，带领大家精读因果科学方向两本非常受广泛认可的入门教材：Causal inference in statistics: A primer和Elements of causal inference: foundations and learning algorithms。读书会以直播讨论为主，结合习题交流、夜谈、编程实践、前沿讲座等多类型内容，主要面向有机器学习背景、希望深入学习因果科学基础知识和重要模型方法、寻求解决相关研究问题的研究人员。
		+	*[https://campus.swarma.org/course/3527 因果科学读书会第三季：因果+X]
		+	“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。通过前两季的分享，我们主要梳理了因果科学在计算机领域的前沿进展。如要融会贯通，我们需要回顾数十年来在社会学、经济学、医学、生物学等多个领域中，都是使用了什么样的因果模型、以什么样的范式、解决了什么样的问题。我们还要尝试进行对比和创新，看能否以现在的眼光，用其他的模型，为这些研究提供新的解决思路。
		+
		+	“因果+X”就是要让因果真正地应用于我们的科学研究中，不管你是来自计算机、数理统计领域，还是社会学、经济学、管理学领域，还是医学、生物学领域，我们希望共同探究出因果研究的范式，真正解决因果的多学科应用问题，乃至解决工业界的问题。
		+	===文章推荐===
		+	[https://swarma.org/?p=33119 推荐系统中的因果学习：基础、估计、预测和挑战]
		+
		+	[https://swarma.org/?p=28539 丁鹏：多角度回顾因果推断的模型方法]
		+
		+	[https://swarma.org/?p=28989 一作解读DeepMind最新论文：连接图神经网络与结构因果模型丨周五直播]
		+
		+	[https://swarma.org/?p=34329 福利 \| 因果推断会是下一个AI热潮吗？Judea Pearl《因果论》重磅上市！]
		+
		+	[https://mp.weixin.qq.com/s/mOdTI0gR9rsRyX4fz3mYNA 因果科学入门读什么书？Y. Bengio博士候选人的研读路径推荐]
		+
		+	[https://mp.weixin.qq.com/s/TtYsTyyGEX7U1ZOSl-lsPw 前沿综述：因果推断与因果性学习研究进展]
		+
		+	[https://mp.weixin.qq.com/s/W6PIE211TavEgg_s3adDdg 因果表征学习最新综述：连接因果科学和机器学习的桥梁]
		+
		+	[https://mp.weixin.qq.com/s/pRgLZFJpbgmAyI7LgOnHug 历时3个月，全球32位讲者，共同讲述因果科学与Causal AI的全景框架！]
		+
		+	[https://mp.weixin.qq.com/s/f-rI5W6tc6qOzthbzK4oAw 崔鹏：稳定学习——挖掘因果推理和机器学习的共同基础]
		+
		+	[https://mp.weixin.qq.com/s/l-05jRYabGI-JoXedU-PLA 因果科学：连接统计学、机器学习与自动推理的新兴交叉领域]
		+
		+	[https://mp.weixin.qq.com/s/ZOUeF_HEFneYVi2BPe8LFg 因果观念新革命？万字长文，解读复杂系统背后的暗因果]
		+
		+	[https://mp.weixin.qq.com/s/dVxgHcQAz_VjT-HDa2fXgg 周晓华：因果推断的数学基础和在医学中的应用]
		+	===相关路径===
		+	*[https://pattern.swarma.org/path?id=99 因果科学与Casual AI读书会必读参考文献列表]，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。
		+	*[https://pattern.swarma.org/path?id=9 因果推断方法概述],这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。
		+	*[https://pattern.swarma.org/path?id=90 因果科学和 Causal AI入门路径]，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。
		+	*[https://pattern.swarma.org/path?id=114 因果纠缠集智年会——因果推荐系统分论坛]关于因果推荐系统的参考文献和主要嘉宾介绍，来源是集智俱乐部的因果纠缠年会。


	Morgan, K. L., & Rubin, D. B. (2012). Rerandomization to improve covariate balance in experiments. The Annals of Statistics, 40(2), 1263-1282.		Morgan, K. L., & Rubin, D. B. (2012). Rerandomization to improve covariate balance in experiments. The Annals of Statistics, 40(2), 1263-1282.

@@ 第1行： / 第1行： @@
-在临床上及社会实验中，随机化（Randomization）通常被认为是衡量因果结论的“黄金标准”，因为它平均平衡了各治疗组的基准协变量（baseline covariates），得到了无偏的因果效应。然而，尽管随机化平均平衡了基准协变量，但协变量在某些情况下由于随机机会（Random Chance）仍可能不平衡，进而影响结果的有效性。虽然机会不平衡通常被认为是一种不幸的罕见现象，但实际上是很常见的。例如，仅10个独立协变量，就有40%的几率存在至少一个变量在基线时显著不同（使用α=0.05），而这还是随机情况下！为什么要让RCT方法存在这种风险化如果基线协变量很重要的话，就应该在进行实验之前检查随机化的平衡，并去除产生不可接受平衡的分配方案。
+在临床上及社会实验中，随机化（Randomization）通常被认为是衡量因果结论的“黄金标准”，因为它平均平衡了各治疗组的基准协变量（baseline covariates），得到了无偏的因果效应。然而，尽管随机化平均平衡了基准协变量，但协变量在某些情况下由于随机机会（Random Chance）仍可能不平衡，进而影响结果的有效性。虽然机会不平衡通常被认为是一种不幸的罕见现象，但实际上是很常见的。例如，仅10个独立协变量，就有40%的几率存在至少一个变量在基线时显著不同（使用α=0.05），而这还是随机情况下！为什么要让RCT方法存在这种风险化，如果基线协变量很重要的话，就应该在进行实验之前检查随机化的平衡，并去除产生不可接受平衡的分配方案。
 为解决以上问题，重随机化（Rerandomization）（Morgan和Rubin，2012）提供了一种可以避免随机化时基线协变量机会不平衡的方法。重随机化的工作方式是在随机化结果不满足预先规定的平衡标准时重新进行随机，直到随即结果符合平衡标准后再开始正式治疗（Treatment）。当平衡标准是客观且事先规定的，并且各治疗组的规模相等时，重随机化可以保持总体无偏，并防止由于机会不平衡而产生的条件偏差。因此，我们既保留了随机化“黄金标准”的优势，同时避免了有害的机会失衡，Tukey（1993）把它称为“白金标准”。
@@ 第5行： / 第5行： @@
 虽然最初的目的是为了防止混淆，但通过改善协变量平衡，在结果与平衡的协变量相关时，重随机化也可以提高精确度。当然，为了利用这些精度的提高，分析也必须反映重随机化的过程，例如通过基于随机化的推理。而在分析中不考虑重随机性仍将导致“有效”结果，即可以信任显著的p值，I类错误率将不大于所述，置信区间将至少具有标称覆盖率。（The Type I error rate will no larger than as stated, and confidence intervals will have at least the nominal coverage.）然而，结果是保守的意味着如果考虑重随机化，p值可能更小，区间可能更窄。
+由于长期以来随机化一直被当成是评估因果作用的金标准。在随机化试验中，每个个体被随机分配到各个处理组，因此理论上各个处理组下的协变量X的分布相似。使用各个处理组下的观察到的结局均值差异能对平均因果作用进行无偏估计。然而，随机实验的这些性质只对大量重复实验平均而言成立，在实际只做一次实验的情形下，不同处理组下的协变量的分布可能有显著差异，均值差异估计量可能离因果作用的真实值很远。举一个简单的例子，假设在某次随机化临床试验中，随机分配一些个体接受治疗或对照，但治疗组中恰巧大部分都是身体虚弱的个体，而对照组中恰巧大部分都是身体健壮的个体，这样，两组的观测结局均值受到患者身体状况这一不容忽视的混杂因素的影响。
 如果协变量的个数很多，单个或多个协变量不平衡的现象就越有可能发生。即使增大样本量，单次试验的因果作用估计偏差问题也得不到解决。这是因为，虽然随着样本量n的增大，协变量以根号n的速度趋于平衡，但平均因果作用的估计量也以根号n的速度收敛，这导致协变量不平衡造成的偏差与因果作用的量级仍然处于同一尺度。

←上一版本		2022年7月2日 (六) 02:10的版本
第1行：		第1行：
		+	在临床上及社会实验中，随机化（Randomization）通常被认为是衡量因果结论的“黄金标准”，因为它平均平衡了各治疗组的基准协变量（baseline covariates），得到了无偏的因果效应。然而，尽管随机化平均平衡了基准协变量，但协变量在某些情况下由于随机机会（Random Chance）仍可能不平衡，进而影响结果的有效性。虽然机会不平衡通常被认为是一种不幸的罕见现象，但实际上是很常见的。例如，仅10个独立协变量，就有40%的几率存在至少一个变量在基线时显著不同（使用α=0.05），而这还是随机情况下！为什么要让RCT方法存在这种风险化如果基线协变量很重要的话，就应该在进行实验之前检查随机化的平衡，并去除产生不可接受平衡的分配方案。
		+
		+	为解决以上问题，重随机化（Rerandomization）（Morgan和Rubin，2012）提供了一种可以避免随机化时基线协变量机会不平衡的方法。重随机化的工作方式是在随机化结果不满足预先规定的平衡标准时重新进行随机，直到随即结果符合平衡标准后再开始正式治疗（Treatment）。当平衡标准是客观且事先规定的，并且各治疗组的规模相等时，重随机化可以保持总体无偏，并防止由于机会不平衡而产生的条件偏差。因此，我们既保留了随机化“黄金标准”的优势，同时避免了有害的机会失衡，Tukey（1993）把它称为“白金标准”。
		+
		+	虽然最初的目的是为了防止混淆，但通过改善协变量平衡，在结果与平衡的协变量相关时，重随机化也可以提高精确度。当然，为了利用这些精度的提高，分析也必须反映重随机化的过程，例如通过基于随机化的推理。而在分析中不考虑重随机性仍将导致“有效”结果，即可以信任显著的p值，I类错误率将不大于所述，置信区间将至少具有标称覆盖率。（The Type I error rate will no larger than as stated, and confidence intervals will have at least the nominal coverage.）然而，结果是保守的意味着如果考虑重随机化，p值可能更小，区间可能更窄。
		+
		+
		+
	长期以来，随机化一直被当成是评估因果作用的金标准。在随机化试验中，每个个体被随机分配到各个处理组，因此理论上各个处理组下的协变量X的分布相似。使用各个处理组下的观察到的结局均值差异能对平均因果作用进行无偏估计。然而，随机实验的这些性质只对大量重复实验平均而言成立，在实际只做一次实验的情形下，不同处理组下的协变量的分布可能有显著差异，均值差异估计量可能离因果作用的真实值很远。举一个简单的例子，假设在某次随机化临床试验中，随机分配一些个体接受治疗或对照，但治疗组中恰巧大部分都是身体虚弱的个体，而对照组中恰巧大部分都是身体健壮的个体，这样，两组的观测结局均值受到患者身体状况这一不容忽视的混杂因素的影响。		长期以来，随机化一直被当成是评估因果作用的金标准。在随机化试验中，每个个体被随机分配到各个处理组，因此理论上各个处理组下的协变量X的分布相似。使用各个处理组下的观察到的结局均值差异能对平均因果作用进行无偏估计。然而，随机实验的这些性质只对大量重复实验平均而言成立，在实际只做一次实验的情形下，不同处理组下的协变量的分布可能有显著差异，均值差异估计量可能离因果作用的真实值很远。举一个简单的例子，假设在某次随机化临床试验中，随机分配一些个体接受治疗或对照，但治疗组中恰巧大部分都是身体虚弱的个体，而对照组中恰巧大部分都是身体健壮的个体，这样，两组的观测结局均值受到患者身体状况这一不容忽视的混杂因素的影响。

@@ 第3行： / 第3行： @@
 如果协变量的个数很多，单个或多个协变量不平衡的现象就越有可能发生。即使增大样本量，单次试验的因果作用估计偏差问题也得不到解决。这是因为，虽然随着样本量n的增大，协变量以根号n的速度趋于平衡，但平均因果作用的估计量也以根号n的速度收敛，这导致协变量不平衡造成的偏差与因果作用的量级仍然处于同一尺度。
-当面临不合适的随机分配时，Fisher曾建议进行再随机化。Morgan和Rubin首次对再随机化进行了正规的数学描述[11]，其基本思路是：预先指定某种衡量协变量在不同处理组之间分布是否平衡的准则，不采纳那些协变量不平衡的随机分配，而是一直进行随机化，直到获得协变量平衡的随机分配为止。Morgan和Rubin建议使用处理组和对照组协变量均值的平方马氏距离作为准则，只接受平方马氏距离小于某个阈值的随机分配。他们还指出，通过再随机化，可以实现平均因果作用估计的方差下降。
+当面临不合适的随机分配时，Fisher曾建议进行再随机化。Morgan和Rubin首次对再随机化进行了正规的数学描述，其基本思路是：预先指定某种衡量协变量在不同处理组之间分布是否平衡的准则，不采纳那些协变量不平衡的随机分配，而是一直进行随机化，直到获得协变量平衡的随机分配为止。Morgan和Rubin建议使用处理组和对照组协变量均值的平方马氏距离作为准则，只接受平方马氏距离小于某个阈值的随机分配。他们还指出，通过再随机化，可以实现平均因果作用估计的方差下降。
 再随机化实验的统计推断比完全随机化实验的统计推断更加复杂。有一个处理组和一个对照组并使用平方马氏距离准则进行再随机化的情形下，Morgan和Rubin建议使用Fisher随机化检验进行统计推断。由于限制了处理组和对照组之间的协变量分布，所以处理组和对照组的平均结局差异并不再服从正态分布，而是服从一个正态分布和另一个截断正态分布的线性组合。近些年来，再随机化受到了越来越多的关注，例如协变量存在不同重要梯度时的再随机化、序贯实验中的再随机化。

←上一版本		2022年6月26日 (日) 17:31的版本
第1行：		第1行：
−	~~待建立~~	+	长期以来，随机化一直被当成是评估因果作用的金标准。在随机化试验中，每个个体被随机分配到各个处理组，因此理论上各个处理组下的协变量X的分布相似。使用各个处理组下的观察到的结局均值差异能对平均因果作用进行无偏估计。然而，随机实验的这些性质只对大量重复实验平均而言成立，在实际只做一次实验的情形下，不同处理组下的协变量的分布可能有显著差异，均值差异估计量可能离因果作用的真实值很远。举一个简单的例子，假设在某次随机化临床试验中，随机分配一些个体接受治疗或对照，但治疗组中恰巧大部分都是身体虚弱的个体，而对照组中恰巧大部分都是身体健壮的个体，这样，两组的观测结局均值受到患者身体状况这一不容忽视的混杂因素的影响。
		+
		+	如果协变量的个数很多，单个或多个协变量不平衡的现象就越有可能发生。即使增大样本量，单次试验的因果作用估计偏差问题也得不到解决。这是因为，虽然随着样本量n的增大，协变量以根号n的速度趋于平衡，但平均因果作用的估计量也以根号n的速度收敛，这导致协变量不平衡造成的偏差与因果作用的量级仍然处于同一尺度。
		+
		+	当面临不合适的随机分配时，Fisher曾建议进行再随机化。Morgan和Rubin首次对再随机化进行了正规的数学描述[11]，其基本思路是：预先指定某种衡量协变量在不同处理组之间分布是否平衡的准则，不采纳那些协变量不平衡的随机分配，而是一直进行随机化，直到获得协变量平衡的随机分配为止。Morgan和Rubin建议使用处理组和对照组协变量均值的平方马氏距离作为准则，只接受平方马氏距离小于某个阈值的随机分配。他们还指出，通过再随机化，可以实现平均因果作用估计的方差下降。
		+
		+	再随机化实验的统计推断比完全随机化实验的统计推断更加复杂。有一个处理组和一个对照组并使用平方马氏距离准则进行再随机化的情形下，Morgan和Rubin建议使用Fisher随机化检验进行统计推断。由于限制了处理组和对照组之间的协变量分布，所以处理组和对照组的平均结局差异并不再服从正态分布，而是服从一个正态分布和另一个截断正态分布的线性组合。近些年来，再随机化受到了越来越多的关注，例如协变量存在不同重要梯度时的再随机化、序贯实验中的再随机化。
		+
		+
		+	Morgan, K. L., & Rubin, D. B. (2012). Rerandomization to improve covariate balance in experiments. The Annals of Statistics, 40(2), 1263-1282.