https://wiki.swarma.org/api.php?action=feedcontributions&feedformat=atom&user=%E8%96%84%E8%8D%B7 2026-11-02T18:31:10Z 用户贡献 MediaWiki 1.35.0 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33481 2022-09-14T14:14:31Z

<p>薄荷：/* 适应性强化学习 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> [[File:nonlinear ICA.png|800px|left|thumb]]<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> [[File:Minimal Change Principle的因果表征学习.png|400px|left|thumb]]<br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> [[File:图像转换方法IrwGAN.png|800px|thumb|center]]<br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> <br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> [[File:图结构.png|200px|left|thumb]]<br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> <br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33480 2022-09-14T14:14:00Z

<p>薄荷：/* 适应性强化学习 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> [[File:nonlinear ICA.png|800px|left|thumb]]<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> [[File:Minimal Change Principle的因果表征学习.png|400px|left|thumb]]<br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> [[File:图像转换方法IrwGAN.png|800px|thumb|center]]<br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> <br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> [[File:图结构.png|300px|left|thumb]]<br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> <br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E5%9B%BE%E7%BB%93%E6%9E%84.png&diff=33479 2022-09-14T14:13:35Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33478 2022-09-14T14:12:44Z

<p>薄荷：/* 迁移学习 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> [[File:nonlinear ICA.png|800px|left|thumb]]<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> [[File:Minimal Change Principle的因果表征学习.png|400px|left|thumb]]<br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> [[File:图像转换方法IrwGAN.png|800px|thumb|center]]<br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> <br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E5%9B%BE%E5%83%8F%E8%BD%AC%E6%8D%A2%E6%96%B9%E6%B3%95IrwGAN.png&diff=33477 2022-09-14T14:12:25Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Minimal_Change_Principle%E7%9A%84%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0.png&diff=33476 2022-09-14T14:12:10Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33475 2022-09-14T14:10:44Z

<p>薄荷：/* 分布迁移情形 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> [[File:nonlinear ICA.png|800px|left|thumb]]<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33474 2022-09-14T14:09:53Z

<p>薄荷：/* 分布迁移情形 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> [[File:nonlinear ICA.png|800px|center|thumb]]<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Nonlinear_ICA.png&diff=33473 2022-09-14T14:09:36Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33472 2022-09-14T14:06:57Z

<p>薄荷：/* 分布迁移情形 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33471 2022-09-14T14:05:52Z

<p>薄荷：/* 分布迁移情形 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> [[File:真实的因果关系图.png|400px|center|thumb|真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。]]<br /> <br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> [[File:CD-NOD搜索过程示例.png|400px|thumb|center|CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。]]<br /> <br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> [[File:时变因果模型示意图.png|400px|thumb|center|时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。]]<br /> <br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> [[File:domain进行训练1.png|300px]][[File:domain进行训练2.png|300px]]<br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Domain%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%832.png&diff=33470 2022-09-14T14:05:22Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Domain%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%831.png&diff=33469 2022-09-14T14:05:17Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E6%97%B6%E5%8F%98%E5%9B%A0%E6%9E%9C%E6%A8%A1%E5%9E%8B%E7%A4%BA%E6%84%8F%E5%9B%BE.png&diff=33468 2022-09-14T14:02:29Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:CD-NOD%E6%90%9C%E7%B4%A2%E8%BF%87%E7%A8%8B%E7%A4%BA%E4%BE%8B.png&diff=33467 2022-09-14T14:02:24Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E7%9C%9F%E5%AE%9E%E7%9A%84%E5%9B%A0%E6%9E%9C%E5%85%B3%E7%B3%BB%E5%9B%BE.png&diff=33466 2022-09-14T14:02:19Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33465 2022-09-14T14:01:23Z

<p>薄荷：/* 数据分布变化为时间序列因果表征学习带来的好处 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb|center]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb|center]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33464 2022-09-14T14:01:06Z

<p>薄荷：/* 数据分布变化为时间序列因果表征学习带来的好处 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> [[File:multi-domain cartpole数据测试.png|800px|thumb]]<br /> <br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> [[File:估计的因果因子.png|800px|thumb]]<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E4%BC%B0%E8%AE%A1%E7%9A%84%E5%9B%A0%E6%9E%9C%E5%9B%A0%E5%AD%90.png&diff=33463 2022-09-14T14:00:26Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Multi-domain_cartpole%E6%95%B0%E6%8D%AE%E6%B5%8B%E8%AF%95.png&diff=33462 2022-09-14T14:00:20Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33461 2022-09-14T13:58:35Z

<p>薄荷：/* Nonparametric Latent Causal Processes */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb|left]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33460 2022-09-14T13:58:21Z

<p>薄荷：/* 传统因果发现: Granger causality, Granger causality with instantaneous relations */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px|thumb|left]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33459 2022-09-14T13:58:02Z

<p>薄荷：/* Nonparametric Latent Causal Processes */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px|thumb]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33458 2022-09-14T13:57:40Z

<p>薄荷：/* Nonparametric Latent Causal Processes */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> [[File:Latent Causal Processes Estimation.png|300px]]<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Latent_Causal_Processes_Estimation.png&diff=33457 2022-09-14T13:57:33Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33456 2022-09-14T13:54:11Z

<p>薄荷：/* Nonparametric Latent Causal Processes */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|800px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33455 2022-09-14T13:54:01Z

<p>薄荷：/* Nonparametric Latent Causal Processes */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> [[File:Nonparametric Latent Causal Processes模型假设.png|400px|center|thumb|Nonparametric Latent Causal Processes模型假设]]<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Nonparametric_Latent_Causal_Processes%E6%A8%A1%E5%9E%8B%E5%81%87%E8%AE%BE.png&diff=33454 2022-09-14T13:53:40Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33453 2022-09-14T13:53:08Z

<p>薄荷：/* Linear Latent Causal Processes with Generalized Laplacian Noise */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|800px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|800px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|800px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33452 2022-09-14T13:52:47Z

<p>薄荷：/* Linear Latent Causal Processes with Generalized Laplacian Noise */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> [[File:Linear Latent Causal Processes with Generalized Laplacian Noise.png|400px|center|thumb|Linear Latent Causal Processes with Generalized Laplacian Noise模型假设]]<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> [[File:KiTTiMask实验结果.png|400px|center|thumb|KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。]]<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> [[File:质量弹簧系统视频数据实验结果.png|400px|center|thumb|质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。]]<br /> <br /> &lt;br&gt;<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E8%B4%A8%E9%87%8F%E5%BC%B9%E7%B0%A7%E7%B3%BB%E7%BB%9F%E8%A7%86%E9%A2%91%E6%95%B0%E6%8D%AE%E5%AE%9E%E9%AA%8C%E7%BB%93%E6%9E%9C.png&diff=33451 2022-09-14T13:52:24Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Linear_Latent_Causal_Processes_with_Generalized_Laplacian_Noise.png&diff=33450 2022-09-14T13:51:23Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:KiTTiMask%E5%AE%9E%E9%AA%8C%E7%BB%93%E6%9E%9C.png&diff=33449 2022-09-14T13:51:18Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33448 2022-09-14T13:50:38Z

<p>薄荷：/* 传统因果发现: Granger causality, Granger causality with instantaneous relations */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|150px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33447 2022-09-14T13:50:25Z

<p>薄荷：/* 传统因果发现: Granger causality, Granger causality with instantaneous relations */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> [[File:传统因果发现.png|200px]]<br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E4%BC%A0%E7%BB%9F%E5%9B%A0%E6%9E%9C%E5%8F%91%E7%8E%B0.png&diff=33446 2022-09-14T13:50:09Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33445 2022-09-14T13:49:05Z

<p>薄荷：/* 层级结构学习的方法（latent hierarchical structure） */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> [[File:层级结构学习的方法.png|400px|center|thumb|图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。]]<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E5%B1%82%E7%BA%A7%E7%BB%93%E6%9E%84%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%96%B9%E6%B3%95.png&diff=33444 2022-09-14T13:48:47Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33443 2022-09-14T13:45:06Z

<p>薄荷：/* 基于GIN的方法 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> [[File:基于GIN的方法.png|400px|center|thumb|图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。]]<br /> <br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:%E5%9F%BA%E4%BA%8EGIN%E7%9A%84%E6%96%B9%E6%B3%95.png&diff=33442 2022-09-14T13:44:45Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33441 2022-09-14T13:44:12Z

<p>薄荷：/* 基于Low-rank的方法 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|thumb|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33440 2022-09-14T13:44:02Z

<p>薄荷：/* 基于Low-rank的方法 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|center|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33439 2022-09-14T13:43:51Z

<p>薄荷：/* 基于Low-rank的方法 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> [[File:Pure Measurement Model.png|400px|图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。]]<br /> <br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%96%87%E4%BB%B6:Pure_Measurement_Model.png&diff=33438 2022-09-14T13:43:38Z

<p>薄荷：基于MsUpload的文件上传</p> <hr /> <div>基于MsUpload的文件上传</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33437 2022-09-14T13:30:56Z

<p>薄荷：</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> &lt;br&gt;<br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> &lt;br&gt;<br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> &lt;br&gt;<br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> &lt;br&gt;<br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> <br /> 图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。<br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> &lt;br&gt;<br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> &lt;br&gt;<br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> &lt;br&gt;<br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> &lt;br&gt;<br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> &lt;br&gt;<br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> &lt;br&gt;<br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> &lt;br&gt;<br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> &lt;br&gt;<br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> &lt;br&gt;<br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> &lt;br&gt;<br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> &lt;br&gt;<br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> &lt;br&gt;<br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> &lt;br&gt;<br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> <br /> &lt;br&gt;<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> &lt;br&gt;<br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> &lt;br&gt;<br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> &lt;br&gt;<br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> &lt;br&gt;<br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> &lt;br&gt;<br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> &lt;br&gt;<br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> &lt;br&gt;<br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33436 2022-09-14T13:25:25Z

<p>薄荷：/* 因果发现传统工作简介 */</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现'''，因为观测数据更容易获得。<br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> 另一组方法是基于函数因果模型 functional causal model（FCM），将效果表示为直接原因的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> <br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> <br /> 图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。<br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> <br /> <br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> <br /> <br /> <br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E5%9B%A0%E6%9E%9C%E8%A1%A8%E5%BE%81%E5%AD%A6%E4%B9%A0%EF%BC%9A%E9%97%AE%E9%A2%98%EF%BC%8C%E6%96%B9%E6%B3%95%E5%92%8C%E5%BA%94%E7%94%A8&diff=33435 2022-09-14T13:24:12Z

<p>薄荷：建立内容为“== 导语 == 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传…”的新页面</p> <hr /> <div>== 导语 ==<br /> 这篇文章概括了张坤老师研究组在因果表征学习方面的最新工作，主要包含四个部分。第一部分是对因果发现传统工作的简介并且引入因果表征：何为因果表征学习，其与因果发现关系何在，以及为何需要新方法实现因果表征学习。第二部分着重于介绍因果表征学习的最新研究进展和方法， 包括在独立同分布情形、时间序列、分布迁移情形的情况下如何寻找因果隐变量和它们之间的因果关系。第三部分介绍了在迁移学习和适应性强化学习下的应用。因果表征学习为机器学习提供了更有解释性和更有效的方法。在第四部分，我们介绍了目前的分析工具causal-learn以及对未来研究工作和应用场景的展望。<br /> <br /> 研究领域：因果表征学习，机器学习，因果发现<br /> <br /> == 简介 ==<br /> '''因果表征学习 Causal Representation Learning'''是连接因果科学与深度学习的桥梁。近十年来，[[深度学习]]成为了[[计算机视觉]]（CV）、[[自然语言处理]]（NLP）等[[人工智能]]（AI）基础领域的核心技术，同时为机器人，无人驾驶，人机交互系统，虚拟现实、生物制药、智慧城市等行业应用进行智慧赋能。深度学习是一种使用神经网络模型，通过梯度反传的信号反馈将非结构化数据，如图片、语言文字等，转化为可被机器处理的表征 representation，并使用这些表征解决识别、理解等下游任务的计算方法。2015年，在由Geoffrey Hinton, Yann LeCun 和 Yoshua Bengio（图灵奖获得者，深度学习著名人物）共同署名的Nature论文《Deep Learning》中，'''表征学习 Representation Learning'''被归为深度学习和现代AI技术取得巨大成功的主要原因。表征学习的目标是将高维的原始数据降维成低维特征，在保留信息的同时过滤掉原始数据中的噪声。<br /> <br /> 然而，通过扩大数据和模型的规模学得的表征往往只能对数据进行编码、压缩或记忆。这些表征不具有可供机器进行逻辑推理和规划的高阶语义因子（semantic concept），也不具备像人类一样在新环境下灵活解决问题的变通能力和鲁棒性。因此，如何使深度学习能像人类一样进行有意识的推理、思考与判断是下一代AI急需解决的问题。另一方面，因果（causal）模型，提供了一套系统性的、基于统计的因果推理和思考的计算方法。然而，因果模型往往只能处理结构化的数据，并不能处理生活中常见的高维的原始数据，比如图像。于是，将表征学习和因果模型进行融合，将图像这样的原始数据转化为可用于因果模型的结构化变量，赋予AI如同人类一样有意识的推理和思考的能力，成为了因果表征学习这一新兴学科的主要目标。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> 在因果表征学习中，我们通常假设数据是由因果相关的、满足一定条件的'''结构因果模型 Structural Causal Model（SCM）'''的因果隐变量，通过非线性的映射（神经网络）来产生。如果因果隐变量和它们之间的SCM能从原始数据中学习，我们就可以估计在干预了这些变量后的数据分布，或推断指定数据点的反事实结果，比如重新组合因果隐变量生成事实中不存在的数据，或者回答Why，What if等需要显式推理的问题。值得注意的是，因果表征学习与[[因果发现]]（Causal Discovery）有密不可分的关系。一方面，因果表征学习是在有很多混淆因子（confounder）下的因果发现问题的一个特例。另一方面，在没有领域知识的情况下，学习整个隐变量空间中的结构因果模型是极其困难的。因此，因果发现中常用的假设，比如Sparsity、Minimal Change Principle和Independent Causal Mechansim，通常可以成为因果表征学习的领域知识和使用的归纳偏置（Inductive Bias）。<br /> <br /> ===因果发现传统工作简介===<br /> 寻找因果关系的传统方法是通过随机对照实验。然而，随机对照实验通常需要耗费大量的时间和资源，有时甚至可能涉及伦理问题。例如，基因敲入是一种广泛用于创建疾病模型的技术。通常导致疾病的不是单个基因，而是由多个基因组成的网络。要找到这个网络可能需要太多的实验才能可行。因此，必须寻求替代方法——从观测数据中发现因果关系，称为'''因果发现 causal discovery'''，因为观测数据更容易获得。<br /> <br /> <br /> 经典的因果发现方法通常是寻找观测变量之间的因果关系，其大致分为两类。在 1980 年代末和 1990 年代初，人们注意到，在适当的假设下，可以根据变量之间的条件独立性关系恢复潜在因果结构的马尔可夫等价类 [Spirtes et al., 1993]。这产生了基于约束的方法（constraint-based method），该方法利用条件独立性测试（conditional independence tests）来进行因果发现。由此产生的等价类可能包含多个 有向无环图（DAG，或其他表示因果结构的图对象），这些DAG共享相同的条件独立性关系。所需的假设包括因果马尔可夫条件（causal Markov condition）和忠实度假设（faithfulness assumption），这两个假设建立了因果图中的d-分离属性与数据中的统计独立性属性之间的对应关系。相反，基于分数的方法 [Chickering, 2003, Heckerman et al., 1995] 不是使用统计测试，而是搜索在某些评分标准下给出最高分数的等价类，例如采用贝叶斯信息标准 [BIC, Schwartz, 1978]、给定数据的图的后验 [Heckerman et al., 1997] 和广义评分函数 [generalized score, Huang et al., 2018]。<br /> <br /> <br /> 另一组方法是基于函数因果模型（functional causal model, FCM），将效果表示为直接原因(direct cause)的函数以及独立的噪声项。研究表明，通过适当地约束模型类，因果方向是可识别的。具体来说，当在正确的因果方向上估计 FCM 时，估计的噪声项与假设原因独立，但在想反的方向上不成立。可识别的因果模型包括线性非高斯无环模型 [LiNGAM, Shimizu et al., 2006]、非线性加性噪声模型 [additive noise causal model, Hoyer et al., 2009, Zhang and Hyvärinen, 2009a] 和后非线性模型 [post-nonlinear causal model, Zhang and Chan, 2006, Zhang and Hyvärinen, 2009b]。但是需要注意的是，如果函数因果模型的函数空间没有约束，则无法识别因果方向，因为总是可以在反向上找到独立于预测变量的噪声项 [Zhang et al, 2015]。<br /> <br /> <br /> 上面介绍的方法已被扩展到更一般的场景。比如说LiNGAM已被扩展到有环的因果图 [Lacerda et al., 2008] 和存在潜在混杂因素的情况 [Hoyer et al., 2008] 。基于LiNGAM拓展的Specific and Shared Causal Relation Modeling [SSCM, Huang et al., 2019] 不仅可以提供整体的因果关系，还可以提供针对个体的个性化的因果知识， 以及基于因果关系来做聚类。同时，研究表明即使存在选择偏差的情况下，因果模型（包括因果方向）也是可能识别的 [Zhang et al., 2016]。<br /> <br /> <br /> 目前的因果发现方法集中在寻找观测变量之间的因果关系， 但是在现实世界的问题中，很多相关的特征可能没有被观察到，并且一些观测变量可能不是潜在的因果变量。例如，我们不能直接将图像像素视为因果变量。因此，正如在第一部分中所说的，我们想从测量的高维变量中学习潜在的因果表征（causal representation），以及它们之间的因果关系，它在通用人工智能和科学领域都是必不可少的。例如，在 AI 中，我们希望从高维视频序列中自动提取底层的低维因果变量或概念，这些变量或概念对于视频理解至关重要，从而促进下游预测或决策任务。在神经科学中，从 fMRI 记录中测量出数以万计的体素，一个关键问题是如何识别和分层聚类潜在的大脑功能区域并发现信息流。<br /> <br /> <br /> 在本篇推送中，我们将结合传统因果发现，从方法，应用和工具角度，详细探讨如何在独立同分布情形、时间序列和分布迁移情形下进行因果表征学习，寻找因果隐变量和它们之间的关系。我们总结了因果表征学习在迁移学习，适应性强化学习和视频动作识别中的应用。最后，我们对目前的可直接使用的分析工具做简要介绍和并对未来的研究和应用方向进行展望。<br /> <br /> <br /> ==寻找因果隐变量和它们的关系==<br /> 按所使用数据的不同性质，下面我们将把近几年提出的因果表征学习的方法分成三类进行讨论，它们分别适用于独立同分布数据、时间序列，以及有分布迁移性质的数据（比如非平稳或异构数据）。<br /> <br /> <br /> ===独立同分布情形===<br /> 解决含有隐变量(隐混淆因子)的一个经典方式是基于条件独立性测试，如FCI(Fast Causal Inference)算法[Spirtes et al., 1995]。该方法首先借助d-分离准则学习变量间的因果骨架图，然后通过 V-结构和一些定位准则进一步推断变量间的因果方向，最终得到因果祖先图。尽管这类方法在许多领域的到了应用，然而这类方法的输出是观测变量间的因果关系，而忽略了隐变量间的因果关系。近期，研究学者利用适用于隐变量下新的“d-分离准则”，包括Low-rank条件，Generalized Independent Noise (GIN)条件等，给出了线性系统下隐变量间因果结构的识别性条件和学习方法，接下来会在本节逐一介绍。<br /> <br /> ====基于Low-rank的方法====<br /> 因子分析是解决隐变量间因果结构的经典方法，然而该方法输出的隐变量结构不能够保证是背后真实发生因果机制的结构[Spirtes et al., 2000; Silva et al., 2006]。Silva等人[Silva et al., 2006]开创性地利用Tetrad条件[Spearman,1928]，提出了一种两阶段学习隐变量结构的框架，即BPC（BulidPureClusters）算法+MIMBulid算法。具体来讲：以图1中上的子图为例。第一阶段利用Tetrad条件设计了三种判断测量变量间是否共享同一个父节点的规则从而去学习纯的测量模型（Pure Measurement Model，包含隐变量以及隐变量与测量变量之间的关系），即子图 (a)；第二阶段把每个隐变量所对应的测量变量为代理变量，进一步学习隐变量间的因果结构 （Structural Model，包含隐变量及其因果关系），即子图 (b)。<br /> <br /> <br /> 图1：两阶段学习隐变量间因果结构示例图。最上面为真实因果图；子图（a）第一阶段所学模型，即测量模型；子图（b）子图（a）第二阶段所学模型，即结构模型。<br /> <br /> 该研究证明了如果每一个隐变量至少有三个及其以上纯的测量变量（该变量有且只有一个隐变量作为其父节点），那么隐变量间的因果结构可通过测量变量去识别，输出结果达到Markov等价类。之后，为了高效地学习隐变量间的因果结构，Kummerfeld等人[Kummerfeld et al., 2016]基于更加宽泛的低秩条件[Sullivant et al., 2010]，提出了FOFC（FindOneFactorClusters）算法去估计隐变量间的因果结构。<br /> <br /> ====基于GIN的方法====<br /> 上一节中方法利用的是变量的协方差矩阵的秩的约束（second-order statistics），忽略了变量中隐含的非高斯性(High-order statistics)，导致部分因果信息被丢失。例如图2中的因果结构，包含4个隐变量和8个观察变量，上述的方法无法从这8个观察变量中去恢复隐变量间的因果结构。对于变量的非高斯而言，首先我们注意到非高斯性是可以根据观察数据轻松地检验此假设。此外，正如Cramér [1962]所述的Cramér分解定理，与高斯变量不同，非高斯分布的变量预计将无处不在，Spirtes和Zhang也同样在文献[Spirtes and Zhang 2016]中指出非高斯数据的普遍性。<br /> <br /> 图2：涉及4个隐变量的因果结构，其中X_i,i=1,…,8为观察变量。<br /> 为此，Xie等人[Xie et al., 2020 &amp; Cai et al., 2019]根据观察数据的高阶统计量，设计了GIN (Generalized Independent Noise condition) 条件，以刻画潜在隐变量间的分离准则。直观上来说：泛化独立噪声（GIN） 条件是关于刻画观察变量的组合之间是否独立的性质，所以它可以被认为是经典的独立噪声 (independent noise (IN)) 条件的一种扩展。我们发现，通过检验一些GIN条件是否成立，能够帮助找出因果隐变量是否存在，所在位置，以及这些隐变量之间的因果关系。基于此，我们提出了一种两阶段的GIN发现算法，首先去定位隐变量及其个数，其次学习隐变量间的因果关系。<br /> <br /> 举例来说，如考虑图2中，GIN算法在第一阶段中定位到背后存在三组隐变量{L_1,L_2}，L_3和L_4，其中隐变量{L_1,L_2}包含的子节点（X_1,...,X_4）都相同。之后在第二阶段中学习{L_1,L_2}，L_3和L_4之间的因果关系。<br /> <br /> 与上一节方法相比，该方法明显的优势是：每一个隐变量所需的纯的测量变量更少，且隐变量间的因果方向都是可识别的。最近Chen等人[Chen et al., 2022]，考虑噪声是任意分布情况下，分析并给出了第二步中变量间因果方向识别的充分必要条件。<br /> <br /> <br /> ====层级结构学习的方法（latent hierarchical structure）====<br /> 本小节继续考虑发现隐藏的因果变量及其它们之间的因果关系问题。相较于上述两个小节的模型，这里考虑更加宽泛的一种模型设定，允许一些隐藏的变量没有直接观察的变量作为其子节点，如图3中的隐变量L_1。为解决该问题，最近Xie等人[Xie et al., 2022]提出了一种最小层级结构的充分条件，并证明了在该条件下，线性非高斯的隐变量层级结构是可以通过部分观察变量完全识别的，包括隐变量的个数及其因果结构关系。<br /> <br /> 图3：一个涉及9个隐变量(L_i,i=1,…,9)和15个观察变量(X_i,i=1,…,15)的层级因果结构。<br /> <br /> 具体来讲，该研究首先定义了一种充分的最小隐变量层级结构条件（minimal latent hierarchical structure condition）：(1) 每一个隐变量至少有三个邻居节点; (2) 每一个隐变量至少有两个纯的子节点（该节点可以是隐的也可以是观察的）。研究证明：在线性非高斯系统下，如果最小隐变量层级结构条件成立，那么系统背后所有的隐变量及其因果关系可以仅有的观察变量去恢复。研究提出的LaHME算法包含以下两个步骤：步骤一：迭代地定位所有潜在隐变量的过程，包括(i) 从当前活动变量集中识别因果类 (共享共同父节点的集合)；(ii) 确定需要为这些因果类引入的新潜在变量的数量；(iii) 更新活动变量集三个子过程。步骤二：推断已识别潜在变量之间的因果结构，包括识别潜在变量之间的因果顺序和去除多余的边两个子过程。如考虑图3，在LaHME算法步骤一中，第一次迭代我们会发现结构中最下面一层的6个隐变量，即L_4,...,L_9。之后我们迭代地找出剩余的隐变量。LaHME算法的步骤二中，我们需要进一步确定隐变量间的因果关系，如L_2与L_5，L_3与L_8的关系。值得注意的是：如果背后的因果结构是一种经典的Tree-based结构，那么利用LaHME算法中的步骤一，我们就可以完全恢复背后的因果图，不需要进行步骤二的操作。<br /> <br /> 需要注意的是，本研究不需要提前已知系统背后隐变量的个数及其层级结构的层数。如果我们提前已知背后隐变量的个数，那么根据Adams等人[Adams et al., 2021]给出的充分的必要可识别性条件，我们可以通过部分观察变量，利用完备的ICA算法恢复其背后的隐变量层级结构。<br /> <br /> 我们知道因果关系对扰动具有鲁棒性，具有编码系统中的不变性，从而能够有效地推理其行为在环境中的影响。该研究对一些机器学习的任务，如图片识别问题，有重要的影响意义。这是因为往往产生因果关系的变量是一些的高级的隐的因果特征，而非直接观察的变量，如像素。因此问题就变成了找到背后真正发生因果关系的因果特征，从而推断这些特征间的因果关系，学习隐变量层级结构的问题。<br /> <br /> ====小结====<br /> 这一章节给出了如何从少量的观察数据中学习线性系统下的隐变量因果结构问题，给出了其结构可识别性的条件和估计算法。然而目前的研究仍然存在一些不足，如需要假定所有的观察变量不能够影响隐变量，即测量假设。第二个不足是结论是仅限于线性系统下的隐变量结构学习，如何估计非线性因果模型下的潜在隐结构并未给出。一个可行的方法是借鉴经典的非线性模型框架，如后非线性模型 [Zhang &amp; Hyvärinen, 2009]去探索解决。<br /> <br /> <br /> <br /> === 时间序列===<br /> ====传统因果发现: Granger causality, Granger causality with instantaneous relations====<br /> <br /> 格兰杰因果关系检验（Granger causality test）是一种在无干扰因素的情况下，一种可以用来寻找时序变量之间的因果关系的方法。Granger causality test由2003年诺贝尔经济学奖得主Clive W. J. Granger所开创，常可用于分析经济变量之间的因果关系。格兰杰因果关系检验的基本观念在于：（1） 未来的事件不会对目前与过去产生因果影响，而过去的事件才可能对现在及未来产生影响。也就是说，如果我们试图探讨变量X是否对变量Y有因果影响，那么只需要估计x的落后期是否会影响y的现在值和（2）cause variable需要包含effect variable里独特非冗余的信息。假如在控制了Y变量的过去值以后，x 变量的过去值仍能对Y 变量有显著的解释能力，我们就可以称X能“Granger 影响”（Granger-cause) y。<br /> <br /> 在算法实现上，我们可通过非参数估计（Nonparametric）的方式，比如在PC algorithm上加上时序限制，即只允许因果方向从过去指向未来并在做独立检验时去除未来信息的方式来添加Granger temporal constraints。我们通常用线性自回归模型Vector autoregessive model进行简化。当X或者Y之间含有瞬时因果关系（Instantanous relations）的情形下，我们只需将现在值(Xt+1, Yt+1)也放入自回归模型的控制变量中，并保证瞬时因果关系满足有向无环图（DAG）假设即可。<br /> <br /> 值得注意的是，在使用Granger causality test寻找因果关系时，我们必须使用结构化数据，即数据中直接含有所有causal variable。当观测数据中的变量不存在直接因果关系，而是由因果隐变量或者干扰因素（counfounder）产成的，如视频数据，Granger causality test不能直接使用。<br /> <br /> <br /> ====从静态时间序列中寻找因果隐变量和它们的关系====<br /> 在上一章节，我们讨论了传统因果发现的方法的适用场景。然而，如果我们想从大多数实际时序信号数据，如视频数据，中寻找因果关系，Granger causality是不能直接使用的。这是在这种情形下，我们观测到的时序变量，即视频中每帧的像素，它们之间并不存在直接的因果关系。这些时序变量（像素）往往是由有具有时序因果关系的因果隐变量或干扰因素生成的。在这种情型下，我们需要做因果表征学习，从时间序列中寻找因果隐变量和它们之间的时序因果关系。在一般情况下，我们可以通过表征学习学得低维的数据表征，但我们无法保证能恢复因果隐变量。在本章节中，我们将探讨在[Yao et al., 2021 &amp; 2022]中提出的两种从静态时间序列中寻找因果隐变量和因果关系的方法。<br /> <br /> =====Linear Latent Causal Processes with Generalized Laplacian Noise=====<br /> 在传统因果发现中，Linear Non-Gaussian模型通常是我们期望的模型假设。在这种假设下，我们通常可以实现可识别，有保障的因果发现。我们首先将这种Inductive Bias加在Latent空间 [Yao et al., 2021]，假设实际的隐变量与其落后期之间满足线性假设（LNM）。观测到的数据Xt则是隐变量Zt的非线性（但可逆）的映射。另外，只要我们假设因果过程中的噪声（Process Noise）之间互相独立，且满足Genenralized Laplacian分布（一种Non-Gaussian模型假设）。通过理论推导，我们发现只要将这些假设转换为Variational Autoencoder （VAE）的参数化的方式，我们就可以有保证地恢复因果隐变量和它们之间的因果关系。<br /> <br /> Figure: Linear Latent Causal Processes with Generalized Laplacian Noise模型假设<br /> <br /> 我们首先在KiTTiMask数据上验证我们的理论的模型。KiTTiMask是一个记录行人步行的视频数据集，其包含的三个因果隐变量，即行人在视频中的横向位置，纵向位置和行人在视频中的大小，它们之间满足独立线性时序关系并且噪声可近似成Laplacian Noise。下图中，实验结果验证了我们的模型能在独立线性时序关系的时序数据中恢复出因果隐变量。<br /> <br /> Figure: KiTTiMask实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复的因变量和真实因果隐变量之间的散点图；（c）恢复出来的因果关系矩阵；（d）Latent traveral展示因果隐变量如何影响图像内容。<br /> <br /> 下一步，我们在二维质量弹簧系统视频数据上验证我们的理论和模型。质量弹簧系统满足线性假设。我们人为的在数据生成过程中在横向和纵向上加上独立的Laplacian Noise，使生成的数据满足我们的条件。下图中，实验结果验证了我们的模型能在线性时序关系的时序数据中恢复出因果隐变量和它们之间的因果关系。<br /> <br /> <br /> Figure: 质量弹簧系统视频数据实验结果：（a）恢复的隐变量和真实因果隐变量之间的相关系数；（b）恢复出来的因果关系矩阵。<br /> <br /> =====Nonparametric Latent Causal Processes=====<br /> 在上小节中，我们探讨了在时序因果隐变量和其落后期之间满足线性关系时，如何通过模型假设和添加归纳偏置的方式恢复因果隐变量和它们之间的关系。然而，线性假设是一种很强的函数形式假设，许多时序数据并不满足隐变量之间的线性假设。在这个小节，我们继续讨论在因果隐变量之间满足非线性，甚至非参数化（Nonparametric）的形式下，如何实现因果表征学习 。<br /> <br /> Figure: Nonparametric Latent Causal Processes模型假设。<br /> <br /> 与上小节相同，我们仍假设数据Xt则是隐变量Zt的非线性（但可逆）的映射。不同的是，我们不再对时序因果隐变量之间的关系或噪声分布形式做任何参数化假设。然而，天下没有免费的午餐。非参数化（Nonparametric）的假设必然需要别的代价和条件来补偿。通过理论推导 [Yao et al., 2022]，我们发现在引入了因果关系指数导数之间的线性独立条件（Linear Independence Condition）后，除了Linear Gaussian Model之外的Latent Process，都有极大可能满足该线性独立条件。该条件可广泛使用于时序因果表征学习，在非参情况下寻找因果隐变量和它们的关系。<br /> <br /> <br /> ====数据分布变化为时间序列因果表征学习带来的好处====<br /> 在上一章节中，我们讨论了在静态时序环境下的因果表征学习。下一步，我们将继续探讨在数据分布发生变化的情况下，我们该如何恢复因果隐变量和它们的关系。值得注意的是，我们的分析是在能探测到分布变化的假设下进行的。即在恢复隐变量过程前，我们已知何时数据发生分布变化和哪种类别（class）的变化，比如域索引（domain Index）是已知的。我们的研究重是如何有效利用这些分布变化实现有效的因果表征学习，而不是检测分布变化。在LCD-NM [Yao er al., 2022]中，为了更简洁地描述不同domain之间分布的区别，我们分别引入在transition和observation function上的低维causal change factor 𝛉。即对于不同domain的数据，change factor 𝛉取不同的值。最后，我们扩展上节中探讨的Nonparametric Latent Causal Processes模型来描述数据分布变化下的数据生成过程。通过理论分析，我们发现在模型中引入变化，并在学习过程中估计数据的变化，因果隐变量的学习和识别效果可以得到显著的提升。<br /> <br /> 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。<br /> 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。<br /> <br /> 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。<br /> <br /> <br /> ===分布迁移情形===<br /> 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。<br /> <br /> Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:<br /> <br /> CD-NOD 着力于解决在分布发生变化的情况下，如何找到观测变量之间的因果关系，主要包括以下三个问题：1. 检测哪些变量对应的因果机制发生了变化，以及如何学习因果骨架（causal skeleton）? 2. 如何充分利用数据分布变化携带的信息来判定因果方向？ 3. 找到了因果结构之后，如何进一步分析因果机制随着时间或条件具体是如何变化的？<br /> <br /> 观测变量分布的变化可以理解为存在一些未观测到的隐变量或隐藏的混杂变量（hidden confounders），其值可能随着时间或域变化，从而导致观测变量的概率分布发生变化。换句话说，一个变化的因果关系是因为背后存在影响这个因果过程的变量。例如，在 fMRI 数据中，数据分布可能会随着注意力或外部刺激而改变，而这种刺激可能会成为影响很多大脑区域的隐藏混杂因素。直接忽略这些隐藏的混杂因素可能会给我们带来误导性的结果，包括虚假的因果连接或错误的因果方向。<br /> <br /> CD-NOD的基本思想如下：我们将隐藏的变化因素（hidden change factors）表示为C的函数，其中C可以是域索引（domain index），时间索引（ time index）， 或者条件索引（condition index）等。 C 充当表征潜在变化因素的代理变量（surrogate variable）。在前面的例子中，大脑区域之间的因果关系可能会被平滑变化的注意力或外部刺激所混淆，因此这里的C可以是表征注意力变化的时间指标。在处理包含来自不同受试者的数据时，因果关系可能会受到基因因素的混淆，而基因因素因受试者而异，因此在这种情况下，可以将C作为个体索引（subject index），以消除隐藏基因因素的影响。因此，我们将变量 C 纳入因果系统作为表征未观察到的变化因素的代理变量，然后在增广变量集（augmented variable set）上应用基于约束的因果发现算法来找因果结构。 <br /> 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。<br /> <br /> Figure: 真实的因果关系图。其中g(C)和θ(C)表示未观测到的隐藏的变化因素，它们可以表示为随着C变化的函数。<br /> <br /> 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。 <br /> <br /> <br /> Figure: CD-NOD搜索过程示例。(a) 初始图。 （b）检测哪些变量对应的因果机制发生了变化。（c）恢复因果骨架。（d）识别因果方向。<br /> <br /> 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。<br /> <br /> <br /> <br /> 时变因果模型 (Time-varying causal model [Huang et al., 2019])：<br /> <br /> 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。<br /> <br /> <br /> Figure: 时变因果模型示意图。其中b和h是隐变量，他们分别用来表征满足auto-regressive model的因果系数和噪声项方差的对数。<br /> <br /> 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。<br /> <br /> Partial Disentanglement for Domain Adaption [Kong et. al., 2022]<br /> <br /> 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。<br /> <br /> <br /> <br /> 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。<br /> <br /> On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]<br /> Causal discovery with general non-linear relationships using non-linear ica. [Ricardo Pio et al. 2020]<br /> <br /> 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。<br /> <br /> 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 &amp; 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。<br /> <br /> <br /> ==应用==<br /> 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。<br /> <br /> ===迁移学习===<br /> <br /> Domain adaptation as a problem of inference on graphical models: causal view (2013 &amp; 2016), data-driven (Petar’s work &amp; particle disentanglement)<br /> <br /> 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。<br /> <br /> Image translation with minimal changes (include some nice pictures)<br /> <br /> Xie, Shaoan, et al. &quot;Unaligned image-to-image translation by learning to reweight.&quot; Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.<br /> <br /> 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。<br /> <br /> 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。<br /> <br /> ===适应性强化学习===<br /> AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:<br /> <br /> 强化学习是通过与外界环境互动来学习策略使得奖励最大化。强化学习的一个实际挑战是如何在面对新环境时对之前学习到的策略进行快速且有效的调整，因为现实世界总是在变化的。<br /> <br /> AdaRL可以有效地适应跨领域最优策略的变化。其基本思想是：找到影响最优策略的最小充分因素集（a minimal sufficient set of factors），并理解这些因素在不同环境中是如何变化的。 例如，在Cartpole游戏中，当我们将系统从地球移动到火星时，如果agent可以刻画是重力改变了最优策略，并理解它如何影响策略，那么agent就可以通过仅用少量样本估计一维重力来快速适应策略。 与直接适应观察到的高维图像相比，它更有效，也更易于解释。<br /> <br /> 现在让我们详细看一下图表示(graphical representation)和模块化属性(modularity)是如何帮助迁移强化学习。<br /> <br /> 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。<br /> <br /> 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。<br /> <br /> <br /> <br /> <br /> ==目前的分析工具以及对对来的展望==<br /> ===Causal-learn===<br /> Causal-learn，由CMU张坤老师主导，多个团队（CMU-CLeaR因果研究团队、蔡瑞初老师团队、宫明明老师团队和Shohei Shimizu老师团队）联合开发出品的因果发现算法平台。<br /> Causal-learn用Python实现了CMU开发的基于Java的Tetrad因果发现平台，并进一步加入新的算法和功能。其中包含了因果发现的经典算法与API，并且提供了模块化的代码，以方便研究者实现自己的算法。Causal-learn所有模块均基于Python实现，从而避免了传统因果发现库对R/Java的依赖，为Python开发者提供便利。<br /> Causal-learn支持：<br /> Constrained-based causal discovery methods.<br /> Score-based causal discovery methods.<br /> Causal discovery methods based on constrained functional causal models.<br /> Hidden causal representation learning.<br /> Permutation-based causal discovery methods.<br /> Granger causal analysis.<br /> 多个独立的基础模块，比如独立性测试，评分函数，图操作，评测指标。<br /> 更多最新的因果发现算法，如gradient-based methods等<br /> ====平台介绍====<br /> =====基于Python的统一算法框架=====<br /> Causal-learn在设计上尽量的将代码模块化，简化了研究者的开发难度。同时通过提供简洁高效的代码接口，让不同领域的用户都能够轻松地应用因果发现算法。整体平台全部基于Python，用户无需再依赖于Java或R等环境，充分享受Python开发与使用的便利性。<br /> <br /> 同时，causal-learn提供了简单的安装方式，一行代码就能够将最经典、最全面的因果推荐算法部署在用户的项目中。<br /> <br /> =====经典算法的官方实现=====<br /> Causal-learn包含了许多经典算法及其扩展的官方实现，如PC，PNL, LiNGAM等。这些因果发现领域“里程碑式”的算法的主要作者，都在causal-learn的领导团队中为平台建设指引方向。因此，causal-learn提供了最“官方”的算法实现。用户通过熟悉相关代码，能够更快的掌握因果发现的经典算法，从而把握领域的整体发展，为相关研究提供启发。<br /> <br /> =====持续更新，掌握领域前沿=====<br /> Causal-learn有着一个稳定的开发与维护团队，其背后的科研团队也持续的在因果发现领域输出最新的工作。因此，用户通过关注causal-learn算法平台，能够时刻掌握领域最新进展，第一时间将最新工作应用在不同的科研与生产项目中。<br /> <br /> ====简单上手====<br /> =====安装=====<br /> Causal-learn提供Pip作为安装方式，同时支持Windows和Linux，用户可以通过简单的一行命令来进行安装使用:<br /> <br /> pip install causal-learn<br /> <br /> =====因果发现，只需一步=====<br /> Causal-learn为所有模型都提供了简单易用的接口，用户可以通过一行代码在自己的数据上进行因果发现:<br /> <br /> cg = pc(data)<br /> <br /> =====可视化与评测=====<br /> 算法运行结束后，用户可以查看生成的因果图，并通过多种评测指标来与基准图进行对比<br /> <br /> cg.draw_pydot_graph()<br /> <br /> ===目前的难点和将来的重点===<br /> 因果表征学习作为一个新兴领域，在其理论、方法和应用方面存在许多待解决的问题和难点。作为本文结尾，我们将列举目前的难点和将来的研究重点，以期能抛砖引玉，在结合因果模型和深度学习的路上与君共勉。我们认为，在理论方面，大多数现有工作都基于Independent Causal Mechanism，与Minimal Change Principle。那么，有没有别的归纳偏置可用于因果表征学习，来寻找并识别出因果隐变量和它们之间的关系？比如，在Conditional Indenpendence的假设不满足时，在时序因果表征学习中，能否在不使用干预信息的前提下，寻找具有瞬时因果关系的因果隐变量？如何在没有surrogate variable的情况下实现因果表征学习的可识别性？因果表征学习的理论分析可否推导出隐变量识别的收敛速度？<br /> <br /> 在方法方面，尽管现有的理论工作大多数都配有相应的模型和验证结果，到底哪种模型的构建方式能更有效地被深度学习的训练方式优化，从而在大样本数据下更好的识别因果隐变量和它们之间的关系？进一步思考，我们能否提出一个通用的大样本的基准数据集，来验证和比较各类因果表征学习方法？另一方面，现有因果表征学习大多数需要多domain数据并且我们需要假设模型知道分布何时会发生变化。将来的方法能否自动检测分布的变化，从来不需要对domain index进行人为的标注？在应用方面，我们能否判读出哪些AI任务的性能可以被因果表征学习显著提升，从而选定因果表征学习的最佳技术载体？比如，推荐系统作为AI与行业应用结合最紧密的方向，其用户/商品的表征和推荐准确度是否能受益于因果表征学习？<br /> <br /> 最后，我们认为，因果表征学习将来的研究重点须着重于与实际问题的结合，在因果模型理论的引导下，赋予AI如同人类一样有意识的推理和思考的能力。如果我们能解决这个问题，我们就可以很好地将因果推断与机器学习结合起来，构建下一代灵活，可信的AI。<br /> <br /> ==参考文献==<br /> * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. &quot;Deep learning.&quot; nature 521.7553 (2015): 436-444.<br /> * P. Spirtes, C. Glymour, and R. Scheines. Causation, Prediction, and Search. Spring-Verlag Lectures in Statistics, 1993. <br /> * D. M. Chickering. Optimal structure identification with greedy search. Journal of Machine Learning Research, 3:507–554, 2003. <br /> * D. Heckerman, D. Geiger, and D. M. Chickering. Learning bayesian networks: The combination of knowledge and statistical data. Machine Learning, 20:197–243, 1995. <br /> * G. Schwartz. Estimating the dimension of a model. The Annals of Statistics, 5:461–464, 1978. <br /> * D. Heckerman, C. Meek, and G. Cooper. Interventions and causal inference. In Innovations in Machine Learning, pages 1–28, 1997. <br /> * B. Huang, K. Zhang, Y. Lin, B. Schölkopf, and C. Glymour. Generalized score functions for causal discovery. In KDD, pages 1551–1560, 2018. <br /> * S. Shimizu, P.O. Hoyer, A. Hyvärinen, and A.J. Kerminen. A linear non-Gaussian acyclic model for causal discovery. Journal of Machine Learning Research, 7:2003–2030, 2006. <br /> * P. O. Hoyer, D. Janzing, J. Mooji, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In Advances in Neural Information Processing Systems 21, Vancouver, B.C., Canada, 2009. <br /> * K. Zhang and A. Hyvärinen. Acyclic causality discovery with additive noise: An information- theoretical perspective. In Proc. European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD) 2009, Bled, Slovenia, 2009a. <br /> * K. Zhang and L. Chan. Extensions of ICA for causality discovery in the hong kong stock market. In Proc. 13th International Conference on Neural Information Processing (ICONIP 2006), 2006. <br /> * K. Zhang and A. Hyvärinen. On the identifiability of the post-nonlinear causal model. In Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence, Montreal, Canada, 2009b. <br /> * K. Zhang, Z. Wang, J. Zhang and B. Schölkopf. On estimation of functional causal models: general results and application to the post-nonlinear causal model. ACM Transactions on Intelligent Systems and Technology (TIST), 7(2), 1-22.<br /> * G. Lacerda, P. Spirtes, J. Ramsey, and P. O. Hoyer. Discovering cyclic causal models by independent components analysis. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence (UAI2008), Helsinki, Finland, 2008. <br /> * P. O. Hoyer, S. Shimizu, A. J. Kerminen, and M. Palviainen. Estimation of causal effects using linear non-gaussian causal models with hidden variables. International Journal of Approximate Reasoning, 49:362–378, 2008. <br /> * B. Huang, K. Zhang, P. Xie, M. Gong, E. Xing, and C. Glymour. Specific and shared causal relation modeling and mechanism-based clustering. In Advances in Neural Information Processing Systems (NeurIPS), 2019. <br /> * K. Zhang, J. Zhang, B. Huang, B. Schölkopf, and C. Glymour. On the identifiability and estimation of functional causal models in the presence of outcome-dependent selection. UAI, 2016.<br /> * Spirtes, P., Meek, C., and Richardson, T. Causal inference in the presence of latent variables and selection bias. In Proceedings of the Eleventh conference on Uncertainty in artificial intelligence (UAI 1995), pp. 499–506, 1995.<br /> * Peter Spirtes, Clark Glymour, Richard Scheines. Causation, prediction, and search [M]. London: MIT press, 2000.<br /> Charles Spearman. Pearson’s contribution to the theory of two factors [J]. British Journal of Psychology, 1928, 19(1):95–101.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Ricardo Silva, Richard Scheines, Clark Glymour, and Peter Spirtes. Learning the structure of linear latent variable models [J]. Journal of Machine Learning Research, 2006, 7(Feb): 191-246.<br /> * Erich Kummerfeld, and Joseph Ramsey. Causal clustering for 1-factor measurement models[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2016). New York: ACM, 2016: 1655-1664.<br /> * H. Cramér. Random variables and probability distributions (2nd edition) [M]. Cambridge: Cambridge University Press, 1962.<br /> * Peter Spirtes, and Kun Zhang. Causal discovery and inference: concepts and recent methodological advances [J]. Applied informatics, 2016, 3(1): 1-28.<br /> * F. Xie, R. Cai, B. Huang, C. Glymour, Z. Hao, and K. Zhang. Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs. Advances in Neural Information Processing Systems 33 (NeurIPS 2020), Virtual Conference, 2020.<br /> * R. Cai, F. Xie, C. Glymour, Z. Hao, and K. Zhang. Triad Constraints for Causal Discovery in the Presence of Latent Variables. Advances in Neural Information Processing Systems 32 (NeurIPS 2019), Vancouver, CANADA, 2019.<br /> * Z. Chen, F. Xie, J. Qiao, Z. Hao, K. Zhang, and R. Cai. Identification of Linear Latent Variable Model with Arbitrary Distribution. Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2022), Vancouver, CANADA, 2022.<br /> * F. Xie, B. Huang, Z. Chen, Y. He, Z. Geng, and K. Zhang. Identification of Linear Non-Gaussian Latent Hierarchical Structure. Thirty-ninth International Conference on Machine Learning (ICML 2022), Baltimore, Maryland USA, 2022.<br /> * Adams, J., Hansen, N., and Zhang, K. Identification of partially observed linear causal models: Graphical conditions for the non-gaussian and heterogeneous cases. Advances in Neural Information Processing Systems (NeurIPS 2019), 34, 2021.<br /> * Zhang, K. and Hyv¨arinen, A. On the identifiability of the post-nonlinear causal model. In Proceedings ofthe twenty-fifth conference on uncertainty in artificial intelli- gence, pp. 647–655. AUAI Press, 2009.<br /> * Huang, Biwei, et al. &quot;Causal Discovery from Heterogeneous/Nonstationary Data.&quot; J. Mach. Learn. Res. 21.89 (2020): 1-53. <br /> * B. Huang, K. Zhang, M. Gong, and C. Glymour. Causal discovery and forecasting in nonstationary environments with state-space models. In ICML, 2019c. <br /> * Zhang, Kun, et al. &quot;Domain adaptation as a problem of inference on graphical models.&quot; Advances in Neural Information Processing Systems 33 (2020): 4965-4976.<br /> * B. Huang, F. Feng, C. Lu, S. Magliacane, and K. Zhang. Adarl: What, where, and how to adapt in transfer reinforcement learning. ICLR, 2022.</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%B7%B1%E9%83%A8%E8%84%91%E5%88%BA%E6%BF%80&diff=33341 2022-08-14T14:21:31Z

<p>薄荷：/* 编者推荐 */</p> <hr /> <div>{{#seo:<br /> |keywords=脑深部电刺激,神经外科<br /> |description=是神经外科手术中的操作之一，包括放置一种叫做神经刺激器的医疗设备，通过植入的电极将电脉冲发送到大脑中的特定目标(脑核)<br /> }}<br /> <br /> '''脑深部电刺激 Deep brain stimulation''' ('''DBS''')是神经外科手术中的操作之一，包括放置一种叫做神经刺激器的医疗设备，通过植入的电极将电脉冲发送到大脑中的特定目标(脑核) ，治疗包括帕金森病、原发性震颤、肌张力障碍&lt;ref name=Kringelbach&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Owen SL, Aziz TZ|title = Translational principles of deep brain stimulation|journal = Nature Reviews. Neuroscience|volume = 8|issue = 8 |pages = 623–35 |date = August 2007|pmid = 17637800|doi = 10.1038/nrn2196|s2cid = 147427108}}&lt;/ref&gt;和其他疾病，如强迫症(OCD)和癫痫，引起的运动障碍。虽然其基本原理和机制尚不完全清楚，DBS 是一种可控的直接改变大脑活动的方式&lt;ref name=Hammond&gt;{{cite journal|vauthors = Hammond C, Ammari R, Bioulac B, Garcia L|s2cid = 14905206|title = Latest view on the mechanism of action of deep brain stimulation|journal = Movement Disorders|volume = 23|issue = 15|pages = 2111–21|date = November 2008|pmid = 18785230|doi = 10.1002/mds.22120|url = https://www.hal.inserm.fr/inserm-02950812/file/hammond%20mov%20disord-2.Envoy%C3%A902.01.08.pdf}}&lt;/ref&gt;&lt;ref name=garcia&gt;{{cite journal|vauthors = García MR, Pearlmutter BA, Wellstead PE, Middleton RH|title = A slow axon antidromic blockade hypothesis for tremor reduction via deep brain stimulation|journal = PLOS ONE|volume = 8|issue = 9|pages = e73456|year = 2013|pmid = 24066049|pmc = 3774723|doi = 10.1371/journal.pone.0073456|bibcode = 2013PLoSO...873456G|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 1997年，DBS 已经被美国食品和药物管理局批准用于治疗原发性震颤(PD)和帕金森病&lt;ref name=&quot;:0&quot;&gt;{{Cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm451152.htm|title= FDA approves brain implant to help reduce Parkinson's disease and essential tremor symptoms|website=FDA|access-date=May 23, 2016|quote=The first device, Medtronic’s Activa Deep Brain Stimulation Therapy System, was approved in 1997 for tremor associated with essential tremor and Parkinson’s disease.}}&lt;/ref&gt;。2003年被批准,以“脑起搏器”的方法用于肌张力障碍&lt;ref name=&quot;:1&quot;&gt;[http://knbc-tvhealth.ip2m.com/index.cfm?pt=itemDetail&amp;item_id=97349&amp;site_cat_id=470 'Brain pacemaker' treats dystonia.] KNBC TV, April 22, 2003. Retrieved October 18, 2006.&lt;/ref&gt; ，2009年被批准用于强迫症，2018年用于癫痫&lt;ref name=&quot;:2&quot;&gt;{{Cite web|url=http://newsroom.medtronic.com/phoenix.zhtml?c=251324&amp;p=irol-newsArticle&amp;ID=2345882|title= Medtronic Receives FDA Approval for Deep Brain Stimulation Therapy for Medically Refractory Epilepsy|website=newsroom.medtronic.com|access-date=2018-12-18}}&lt;/ref&gt;&lt;ref name=&quot;:3&quot;&gt;{{cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm149529.htm|title=FDA Approves Humanitarian Device Exemption for Deep Brain Stimulator for Severe Obsessive-Compulsive Disorder|work=FDA}}&lt;/ref&gt;&lt;ref name=gildenberg&gt;{{cite journal|vauthors = Gildenberg PL|title = Evolution of neuromodulation|journal = Stereotactic and Functional Neurosurgery|volume = 83|issue = 2–3|pages = 71–79|year = 2005|pmid = 16006778|doi = 10.1159/000086865|s2cid = 20234898}}&lt;/ref&gt;。DBS 已经在临床试验中被研究用作各种情感障碍(包括重度抑郁症的慢性疼痛的潜在治疗方法。这是少数允许[[盲法研究]]的神经外科手术之一&lt;ref name=&quot;Kringelbach&quot; /&gt;。<br /> <br /> <br /> == 医疗用途 ==<br /> [[Image:Parkinson surgery.jpg|thumb|250px|在手术过程中使用立体定向框架插入电极]]<br /> <br /> === 帕金森氏病 ===<br /> DBS用于治疗帕金森病的一些无法用药完全控制的症状&lt;ref name=NINDS/&gt;&lt;ref name=&quot;USDHHS&quot;&gt;U.S. Department of Health and Human Services. [https://www.fda.gov/MedicalDevices/ProductsandMedicalProcedures/DeviceApprovalsandClearances/Recently-ApprovedDevices/ucm083894.htm FDA approves implanted brain stimulator to control tremors.] Retrieved February 10, 2015.&lt;/ref&gt;。通过对丘脑内外侧、内苍白球和丘脑下核(STN)三个靶结构应用高频(&gt; 100 Hz)刺激治疗PD，以模拟病变的临床效果&lt;ref name=&quot;:4&quot;&gt;Koller, W. and Melamed, E., 2007. Parkinson's disease and related disorders. 1st ed. Edinburgh: Elsevier.&lt;/ref&gt;。它适合推荐给药物控制不充分的运动波动和震颤的PD患者，或对药物不耐受的患者，只要他们没有严重的神经精神问题&lt;ref name=&quot;pmid20937936&quot;&gt;{{cite journal |vauthors=Bronstein JM, Tagliati M, Alterman RL, Lozano AM, Volkmann J, Stefani A, Horak FB, Okun MS, Foote KD, Krack P, Pahwa R, Henderson JM, Hariz MI, Bakay RA, Rezai A, Marks WJ, Moro E, Vitek JL, Weaver FM, Gross RE, DeLong MR |title=Deep brain stimulation for Parkinson disease: an expert consensus and review of key issues |journal=Archives of Neurology |volume=68 |issue=2 |page=165 |date=February 2011 |pmid=20937936 |pmc=4523130 |doi=10.1001/archneurol.2010.260 |display-authors=1}}&lt;/ref&gt; 。在帕金森病中，有苍白球内、丘脑、丘脑下核和桥脚核四个脑区使用神经刺激器进行治疗。然而，在常规手术中，大多数DBS手术不是针对苍白球内，就是针对丘脑下核。<br /> * 苍白球内的DBS减少了不可控的震颤运动，称为运动障碍。这使患者能够服用足够数量的药物(特别是左旋多巴)，从而更好地控制症状。<br /> * 丘脑底核深部脑刺激可直接减轻帕金森病症状。这可以减少抗帕金森药物的剂量。<br /> * PPN的DBS可能有助于步态冻结，而丘脑的DBS可能有助于颤抖。这些靶标通常不被使用。<br /> <br /> <br /> 选择正确的 DBS 目标是一个复杂的过程。多种临床特征被用来选择目标，包括识别最棘手的症状、患者目前正在服用的左旋多巴的剂量、当前药物的作用和副作用以及同时出现的问题。例如，丘脑下核 DBS 可能会加重抑郁症，因此对于无法控制的抑郁症患者来说并不是首选。<br /> <br /> <br /> 一般来说，DBS 与运动成绩评定的30-60% 的改善有关&lt;ref name=&quot;Dallapiazza2018&quot;&gt;{{cite book |last1=Dallapiazza |first1=R. F. |last2=Vloo |first2=P. D. |last3=Fomenko |first3=A. |last4=Lee |first4=D. J. |last5=Hamani |first5=C. |last6=Munhoz |first6=R. P. |last7=Hodaie |first7=M. |last8=Lozano |first8=A. M. |last9=Fasano |first9=A. |last10=Kalia |year=2018 |chapter=Considerations for Patient and Target Selection in Deep Brain Stimulation surgery for Parkinson’s disease |editor-last=Stoker |editor-first=T. B. |editor2-last=Greenland |editor2-first=J. C. |title=Parkinson's disease: Pathogenesis and clinical aspects |location=Brisbane |publisher=Codon Publications |isbn=978-0-9944381-6-4 |doi=10.15586/codonpublications.parkinsonsdisease.2018.ch8 |pmid=30702838|s2cid=81155324 }}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === Tourette综合症 ===<br /> DBS已被实验性地用于治疗对常规治疗没有反应的成人严重'''Tourette综合症'''。尽管早期的成功被广泛宣传，DBS治疗图雷特氏症仍然是一个高度实验性的程序，需要更多的研究来确定长期的好处是否大于风险&lt;ref name=&quot;Singer2011&quot;&gt;{{cite book|vauthors = Singer HS|title = Hyperkinetic Movement Disorders|chapter = Tourette syndrome and other tic disorders|journal = Handbook of Clinical Neurology|volume = 100|pages = 641–57|date = March 2005|pmid = 21496613|doi = 10.1016/B978-0-444-52014-2.00046-X|isbn = 9780444520142}} Also see {{cite journal|vauthors = Singer HS|title = Tourette's syndrome: from behaviour to biology|journal = The Lancet. Neurology|volume = 4|issue = 3|pages = 149–59|date = March 2005|pmid = 15721825|doi = 10.1016/S1474-4422(05)01012-4|s2cid = 20181150}}&lt;/ref&gt;&lt;ref name=Robertson2011&gt;{{cite journal|vauthors = Robertson MM|title = Gilles de la Tourette syndrome: the complexities of phenotype and treatment|journal = British Journal of Hospital Medicine|volume = 72|issue = 2|pages = 100–07|date = February 2011|pmid = 21378617|doi = 10.12968/hmed.2011.72.2.100}}&lt;/ref&gt;&lt;ref name=Du2010&gt;{{cite journal|vauthors = Du JC, Chiu TF, Lee KM, Wu HL, Yang YC, Hsu SY, Sun CS, Hwang B, Leckman JF|title = Tourette syndrome in children: an updated review|journal = Pediatrics and Neonatology|volume = 51|issue = 5|pages = 255–64|date = October 2010|pmid = 20951354|doi = 10.1016/S1875-9572(10)60050-2|doi-access = free}}&lt;/ref&gt;&lt;ref name=&quot;:5&quot;&gt;[[Tourette Association of America|Tourette Syndrome Association]]. [https://web.archive.org/web/20051122154536/http://tsa-usa.org/news/DBS-Statement.htm Statement: Deep Brain Stimulation and Tourette Syndrome.] Retrieved November 22, 2005.&lt;/ref&gt; 。该手术耐受性良好，但并发症包括“电池寿命短，停止刺激后症状突然恶化，轻度躁狂或躁狂转化，以及优化刺激参数所需的大量时间和精力”&lt;ref name=Malone&gt;{{cite journal|vauthors = Malone DA, Pandya MM|title = Behavioral neurosurgery|journal = Advances in Neurology|volume = 99|pages = 241–47|year = 2006|pmid = 16536372}}&lt;/ref&gt; 。截至2006年，有5人被报告患有TS;所有人都经历了抽搐的减少和强迫行为的消失&lt;ref name=&quot;Malone&quot; /&gt;。<br /> <br /> <br /> 这种手术具有侵入性，费用昂贵，需要长期的专家护理。考虑到在荷兰进行的这种手术效果较差，重度抽动秽语综合症的益处还不能下结论。抽动秽语综合症在儿童群体中更为常见，成年后趋于缓解，所以一般不推荐在儿童身上使用这种疗法。因为抽动秽语综合症的诊断是基于症状的历史而不是神经活动的分析，所以如何为特定的人应用 DBS 并不总是很清楚。由于担心使用DBS治疗抽动秽语综合症，美国图雷特协会召集了一组专家来制定建议，指导DBS治疗TS的使用和潜在的临床试验&lt;ref name=&quot;:6&quot;&gt;{{cite journal|vauthors = Mink JW, Walkup J, Frey KA, Como P, Cath D, Delong MR, Erenberg G, Jankovic J, Juncos J, Leckman JF, Swerdlow N, Visser-Vandewalle V, Vitek JL|title = Patient selection and assessment recommendations for deep brain stimulation in Tourette syndrome|journal = Movement Disorders|volume = 21|issue = 11|pages = 1831–38|date = November 2006|pmid = 16991144|doi = 10.1002/mds.21039|url = https://deepblue.lib.umich.edu/bitstream/2027.42/55891/1/21039_ftp.pdf|hdl = 2027.42/55891|s2cid = 16353255|hdl-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> Robertson 报告说，截至2011年，DBS 已经在55名成年人身上使用，在当时仍然是一种试验性的治疗方法，并且建议这种手术“应该只由有经验的功能性神经外科医生进行，这些医生所在的中心还有一个专门的图雷特氏综合症诊所”&lt;ref name=&quot;Robertson2011&quot; /&gt; 。根据Malone等人的说法(2006年) ，“只有患有严重的、使人衰弱的和治疗难以治愈的疾病的患者才应该被考虑; 而那些有严重的人格障碍和物质滥用问题的患者应该被排除在外“&quot;&lt;ref name=&quot;Malone&quot; /&gt;。Du 等人(2010)说，“作为一种侵入性治疗，DBS 目前仅适用于严重受影响、治疗难治性 TS 的成年人”&lt;ref name=&quot;Du2010&quot; /&gt; 。Singer (2011年)说，“在确定患者选择标准和仔细控制的临床试验结果之前，建议采取谨慎的方法”&lt;ref name=&quot;Singer2011&quot; /&gt;。Viswanathan等人(2012)表示，DBS 应该用于“严重功能障碍且无法医学治疗”的患者。&lt;ref&gt;{{cite journal|vauthors = Viswanathan A, Jimenez-Shahed J, Baizabal Carvallo JF, Jankovic J|title = Deep brain stimulation for Tourette syndrome: target selection|journal = Stereotactic and Functional Neurosurgery|volume = 90|issue = 4|pages = 213–24|year = 2012|pmid = 22699684|doi = 10.1159/000337776|doi-access = free}}&lt;/ref&gt;<br /> <br /> ==不良反应==<br /> [[File:Mra1.jpg|thumb|left|DBS植入时可出血的动脉供应动脉造影。]]<br /> DBS具有大手术的风险，并发症的发生率与手术团队的经验有关。主要并发症包括出血(1-2%)和感染(3-5%)&lt;ref name=&quot;:7&quot;&gt;{{cite journal|vauthors = Doshi PK|title = Long-term surgical and hardware-related complications of deep brain stimulation|journal = Stereotactic and Functional Neurosurgery|volume = 89|issue = 2|pages = 89–95|date = April 2011|pmid = 21293168|doi = 10.1159/000323372|s2cid = 10553177}}&lt;/ref&gt;。<br /> <br /> <br /> DBS 有可能导致神经精神方面的副作用，包括冷漠、幻觉、性欲亢进、认知功能障碍、抑郁和欣快感。然而，这些影响可能是暂时的，与(1)电极的正确放置，(2)开环VS闭环刺激，意味着持续刺激或人工智能监测传输系统&lt;ref name=&quot;:8&quot;&gt;{{cite journal|authors = Scangos, K.W., Makhoul, G.S., Sugrue, L.P.|title = State-dependent responses to intracranial brain stimulation in a patient with depression|journal = Nat Med|year = 2021|volume = 27|issue = 2|pages = 229–231|doi = 10.1038/s41591-020-01175-8|pmid = 33462446|issn=1078-8956|pmc = 8284979}}&lt;/ref&gt;，以及(3)刺激器的校准有关，因此这些副作用可能是可逆的&lt;ref name=&quot;:9&quot;&gt;{{cite journal|vauthors = Burn DJ, Tröster AI|title = Neuropsychiatric complications of medical and surgical therapies for Parkinson's disease|journal = Journal of Geriatric Psychiatry and Neurology|volume = 17|issue = 3|pages = 172–80|date = September 2004|pmid = 15312281|doi = 10.1177/0891988704267466|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 因为在手术过程中大脑可能会轻微移动，电极可能会从特定位置移位或移位。这可能会导致更深刻的并发症，如个性的改变，但电极错位使用CT扫描相对容易识别。此外，手术并发症也可能发生，如脑出血。手术后，脑组织肿胀、轻度定向障碍和嗜睡均属正常。2-4周后，进行随访，拆除缝合线，打开神经刺激器，并对其进行编程。<br /> <br /> <br /> 游泳技能受损被认为是该手术的一个意外风险;几名帕金森氏症患者在接受脑深部刺激后失去了游泳能力&lt;ref name=&quot;:10&quot;&gt;{{Cite web|url=https://www.medpagetoday.com/geriatrics/parkinsonsdisease/83610|title=Deep Brain Stimulation May Put Parkinson's Patients at Risk for Drowning|date=2019-11-27|website=www.medpagetoday.com|language=en|access-date=2019-12-09}}&lt;/ref&gt;&lt;ref name=&quot;:11&quot;&gt;{{Cite journal|last1=Bangash|first1=Omar K.|last2=Thorburn|first2=Megan|last3=Garcia-Vega|first3=Jimena|last4=Walters|first4=Susan|last5=Stell|first5=Rick|last6=Starkstein|first6=Sergio E.|last7=Lind|first7=Christopher R. P.|date=May 2016|title=Drowning hazard with deep brain stimulation: case report|journal=Journal of Neurosurgery|volume=124|issue=5|pages=1513–16|doi=10.3171/2015.5.JNS15589|issn=1933-0693|pmid=26566200|doi-access=free}}&lt;/ref&gt;。<br /> <br /> <br /> == 机制 ==<br /> DBS 的确切作用机制尚不清楚&lt;ref name=&quot;:12&quot;&gt;{{cite book |author1=Mogilner A.Y. |author2=Benabid A.L. |author3=Rezai A.R. |chapter=Chronic Therapeutic Brain Stimulation: History, Current Clinical Indications, and Future Prospects |editor1=Markov, Marko |editor2=Paul J. Rosch |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York |year=2004 |pages=133–51 |isbn=978-0-8247-4700-8}}&lt;/ref&gt;。各种各样的假说试图解释 DBS 的机制:&lt;ref name=&quot;:13&quot;&gt;{{cite journal|vauthors = McIntyre CC, Thakor NV|title = Uncovering the mechanisms of deep brain stimulation for Parkinson's disease through functional imaging, neural recording, and neural modeling|journal = Critical Reviews in Biomedical Engineering|volume = 30|issue = 4–6|pages = 249–81|year = 2002|pmid = 12739751|doi = 10.1615/critrevbiomedeng.v30.i456.20}}&lt;/ref&gt;&lt;ref name=&quot;:14&quot;&gt;{{cite journal|vauthors = Herrington TM, Cheng JJ, Eskandar EN|title = Mechanisms of deep brain stimulation|journal = Journal of Neurophysiology|volume = 115|issue = 1|pages = 19–38|date = January 2016|pmid = 26510756|pmc = 4760496|doi = 10.1152/jn.00281.2015}}&lt;/ref&gt;<br /> <br /> # 去极化阻滞:电流阻断神经元在电极处或电极附近的输出。<br /> # 突触抑制:通过激活与刺激电极附近的神经元突触连接的轴突末梢，引起神经元输出的间接调节。<br /> # 神经元异常振荡活动的去同步。<br /> # 反向激活激活/阻滞远端神经元或阻滞慢轴突&lt;ref name=&quot;garcia&quot; /&gt;。<br /> <br /> <br /> DBS是对以往苍白球切开术(即苍白球外科消融)或丘脑切开术(即丘脑外科消融)治疗的一种进步&lt;ref name=&quot;:15&quot;&gt;{{cite journal|vauthors = Machado A, Rezai AR, Kopell BH, Gross RE, Sharan AD, Benabid AL|s2cid = 18194178|title = Deep brain stimulation for Parkinson's disease: surgical technique and perioperative management|journal = Movement Disorders|volume = 21 Suppl 14|issue = Suppl 14|pages = S247–58|date = June 2006|pmid = 16810722|doi = 10.1002/mds.20959}}&lt;/ref&gt;。取而代之的是，将一个带有多个电极的细导线植入苍白球、腹外侧核或丘脑下核，电脉冲用于治疗。植入物的导线延伸到胸部皮肤下的神经刺激器。<br /> <br /> <br /> 它对脑细胞和神经递质的直接影响目前还在争论中，但通过向大脑的特定区域发送高频电脉冲，它可以减轻症状&lt;ref name=&quot;:16&quot;&gt;{{cite journal|vauthors = Moro E, Lang AE|title = Criteria for deep-brain stimulation in Parkinson's disease: review and analysis|journal = Expert Review of Neurotherapeutics|volume = 6|issue = 11|pages = 1695–705|date = November 2006|pmid = 17144783|doi = 10.1586/14737175.6.11.1695|s2cid = 20857769}}&lt;/ref&gt;，直接减少帕金森病药物引起的副作用&lt;ref name=&quot;:17&quot;&gt;{{cite journal|vauthors = Apetauerova D, Ryan RK, Ro SI, Arle J, Shils J, Papavassiliou E, Tarsy D|title = End of day dyskinesia in advanced Parkinson's disease can be eliminated by bilateral subthalamic nucleus or globus pallidus deep brain stimulation|journal = Movement Disorders|volume = 21|issue = 8|pages = 1277–79|date = August 2006|pmid = 16637040|doi = 10.1002/mds.20896|s2cid = 42122286}}&lt;/ref&gt;，使药物减少，或使药物治疗方案更容易忍受。<br /> <br /> <br /> == 组成和布局 ==<br /> DBS系统由三部分组成:植入脉冲发生器(IPG)、引线和扩展部分。IPG是一种由电池供电的神经刺激器，包裹在钛外壳中，它向大脑发送电脉冲，干扰目标部位的神经活动。铅是用聚氨酯绝缘的线圈，有四个铂铱电极，被放置在大脑的一个或两个不同的核中。引线通过一根延伸线与IPG连接，这是一根绝缘电线，在皮肤下面，从头部、颈部侧面、耳朵后面，到IPG, IPG位于锁骨下皮下，在某些情况下，是腹部&lt;ref name=NINDS&gt;[[National Institute of Neurological Disorders and Stroke]]. [http://www.ninds.nih.gov/disorders/deep_brain_stimulation/deep_brain_stimulation.htm Deep brain stimulation for Parkinson's disease information page] Retrieved November 23, 2006.&lt;/ref&gt;。IPG可以由神经科医生、护士或训练有素的技术人员校准，以优化症状抑制和控制副作用&lt;ref name=Volkmann&gt;{{cite journal|vauthors = Volkmann J, Herzog J, Kopper F, Deuschl G|title = Introduction to the programming of deep brain stimulators|journal = Movement Disorders|volume = 17 Suppl 3|pages = S181–87|year = 2002|pmid = 11948775|doi = 10.1002/mds.10162|s2cid = 21988668}}&lt;/ref&gt;。<br /> <br /> <br /> 根据需要治疗的症状类型，将DBS导联植入大脑。对于非帕金森特发性震颤，导线放置在丘脑腹中间核或内嵌带&lt;ref name=&quot;:18&quot;&gt;{{cite journal|vauthors = Lee JY, Deogaonkar M, Rezai A|title = Deep brain stimulation of globus pallidus internus for dystonia|journal = Parkinsonism &amp; Related Disorders|volume = 13|issue = 5|pages = 261–65|date = July 2007|pmid = 17081796|doi = 10.1016/j.parkreldis.2006.07.020}}&lt;/ref&gt;; 对于肌张力障碍和与PD相关的症状(强直、运动迟缓/运动不全和震颤，导线可置于苍白球内或丘脑下核；对强迫症和抑郁症的作用是伏隔核；持续疼痛至丘脑后区或导水管周围灰质区;以及丘脑前核的癫痫治疗&lt;ref name=&quot;:19&quot;&gt;[http://www.surgeryencyclopedia.com/Ce-Fi/Deep-Brain-Stimulation.html Deep brain stimulation.] Surgery Encyclopedia. Retrieved January 25, 2007.&lt;/ref&gt;。<br /> <br /> <br /> 这三种成分都要通过手术植入体内。铅植入可在局部麻醉或全身麻醉下进行(“睡眠DBS”)，如肌张力障碍。在颅骨上钻一个直径约14毫米的孔，使用基于框架或无框架的立体定向方式将探针电极立体定向插入&lt;ref name=&quot;:20&quot;&gt;{{cite journal|vauthors = Owen CM, Lindsey ME|title = Frame-based stereotaxy in a frameless era: current capabilities, relative role, and the positive- and negative predictive values of blood through the needle.|journal = Journal of Neuro-Oncology|volume = 93|issue = 1|pages = 139–49|date = May 2009|pmid = 19430891|doi = 10.1007/s11060-009-9871-y| doi-access = free}}&lt;/ref&gt;。在局部麻醉的清醒过程中，来自人的反馈被用来确定永久电极的最佳放置位置。在睡眠过程中，利用术中MRI引导对脑组织和设备进行直接可视化&lt;ref name=&quot;:21&quot;&gt;{{cite journal|vauthors = Starr PA, Martin AJ, Ostrem JL, Talke P, Levesque N, Larson PS|title = Subthalamic nucleus deep brain stimulator placement using high-field interventional magnetic resonance imaging and a skull-mounted aiming device: technique and application accuracy|journal = Journal of Neurosurgery|volume = 112|issue = 3|pages = 479–90|date = March 2010|pmid = 19681683|pmc = 2866526|doi = 10.3171/2009.6.JNS081161}}&lt;/ref&gt;。IPG和延伸导线的安装是在全身麻醉下进行的&lt;ref name=&quot;:22&quot;&gt;[http://www.neurosurgery.pitt.edu/imageguided/movement/stimulation.html Deep Brain Stimulation], Department of Neurological Surgery, University of Pittsburgh. Retrieved May 13, 2008.&lt;/ref&gt;。刺激右脑来解决身体左侧的症状，反之亦然。<br /> <br /> &lt;br&gt;<br /> <br /> == 研究 ==<br /> === 慢性痛 ===<br /> 刺激导水管周围灰质和脑室周围灰质来治疗痛觉性疼痛，刺激内囊、腹侧后外侧核和腹侧后内侧核来治疗神经性疼痛，对一些人产生了令人印象深刻的结果，但结果各不相同。一项&lt;ref name = Young&gt;{{cite journal|authors = Young RF &amp; Brechner T|title = Electrical stimulation of the brain for relief of intractable pain due to cancer|journal = Cancer|volume = 57|year = 1986|issue = 6|pages = 1266–72|pmid = 3484665|doi=10.1002/1097-0142(19860315)57:6&lt;1266::aid-cncr2820570634&gt;3.0.co;2-q| doi-access = free}}&lt;/ref&gt;针对17名癌症顽固性疼痛患者的研究发现，其中13人几乎没有疼痛，只有4人在干预后出院时需要服用阿片类镇痛药。大多数人最终诉诸于阿片类药物，通常是在生命的最后几周&lt;ref name=&quot;Johnson&quot;&gt;{{cite book|authors = Johnson MI, Oxberry SG &amp; Robb K|chapter = Stimulation-induced analgesia|pages = 235–50|editor = Sykes N, Bennett MI &amp; Yuan C-S|title = Clinical pain management: Cancer pain|edition = 2nd|isbn = 978-0-340-94007-5|publisher = Hodder Arnold|location = London|year = 2008}}&lt;/ref&gt;。DBS也被用于治疗幻肢疼痛&lt;ref name=&quot;:23&quot;&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Green AL, Owen SL, Hansen PC, Cornelissen PL, Holliday IE, Stein J, Aziz TZ|title = Deep brain stimulation for chronic pain investigated with magnetoencephalography|journal = NeuroReport|volume = 18|issue = 3|pages = 223–28|date = February 2007|pmid = 17314661|doi = 10.1097/wnr.0b013e328010dc3d|citeseerx = 10.1.1.511.2667|s2cid = 7091307}}&lt;/ref&gt;。<br /> <br /> <br /> === 重度抑郁症和强迫症 ===<br /> [[File:X-ray of deep brain stimulation in OCD, L.png|thumb|头部侧面 X 光片：强迫症(OCD) 中的深部脑刺激。42岁男性，2013年手术。]]<br /> <br /> DBS已在少量临床试验中用于治疗严重难治性抑郁症(TRD)患者&lt;ref name=&quot;Anderson&quot;&gt;{{cite journal|vauthors = Anderson RJ, Frye MA, Abulseoud OA, Lee KH, McGillivray JA, Berk M, Tye SJ|title = Deep brain stimulation for treatment-resistant depression: efficacy, safety and mechanisms of action|journal = Neuroscience and Biobehavioral Reviews|volume = 36|issue = 8|pages = 1920–33|date = September 2012|pmid = 22721950|doi = 10.1016/j.neubiorev.2012.06.001|s2cid = 207089716}}&lt;/ref&gt;。DBS治疗TRD的神经解剖学靶点包括膝下扣带回、后直回&lt;ref name=&quot;:24&quot;&gt;{{cite journal|vauthors = Accolla EA, Aust S, Merkl A, Schneider GH, Kühn AA, Bajbouj M, Draganski B|title = Deep brain stimulation of the posterior gyrus rectus region for treatment resistant depression|journal = Journal of Affective Disorders|volume = 194|pages = 33–37|date = April 2016|pmid = 26802505|doi = 10.1016/j.jad.2016.01.022|doi-access = free}}&lt;/ref&gt;、伏隔核&lt;ref name=&quot;:25&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Cohen MX, Frick C, Kosel M, Brodesser D, Axmacher N, Joe AY, Kreft M, Lenartz D, Sturm V|title = Deep brain stimulation to reward circuitry alleviates anhedonia in refractory major depression|journal = Neuropsychopharmacology|volume = 33|issue = 2|pages = 368–77|date = January 2008|pmid = 17429407|doi = 10.1038/sj.npp.1301408|doi-access = free}}&lt;/ref&gt;、腹侧囊/腹侧纹状体、丘脑下蒂和外侧缰状核&lt;ref name=&quot;Anderson&quot; /&gt; 。最近提出的DBS干预抑郁症的靶点是内侧前脑束的上外侧支;它的刺激导致惊人的快速抗抑郁作用&lt;ref name=&quot;:26&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Mädler B, Coenen VA|title = Rapid effects of deep brain stimulation for treatment-resistant major depression|journal = Biological Psychiatry|volume = 73|issue = 12|pages = 1204–12|date = June 2013|pmid = 23562618|doi = 10.1016/j.biopsych.2013.01.034|s2cid = 6374368}}&lt;/ref&gt;。<br /> <br /> <br /> DBS治疗TRD的早期试验数量较少，目前限制了最佳神经解剖学靶点的选择&lt;ref name=&quot;Anderson&quot; /&gt; 。证据不足以支持DBS作为抑郁症的治疗方式;然而，该手术可能是未来一种有效的治疗方式&lt;ref name=&quot;:27&quot;&gt;{{cite journal |last1=Murphy |first1=Destiny N. |last2=Boggio |first2=Paulo |last3=Fregni |first3=Felipe |title=Transcranial direct current stimulation as a therapeutic tool for the treatment of major depression: insights from past and recent clinical studies |journal=Curr Opin Psychiatry |year=2009 |volume=22 |issue=3 |pages=306–11 |doi=10.1097/YCO.0b013e32832a133f |pmid=19339889 |s2cid=11392351}}&lt;/ref&gt;。事实上，神经外科文献中已经记录了有益的结果，包括一些为重度抑郁的人提供便携式刺激器进行自我治疗的例子&lt;ref name=&quot;Delgado 1986&quot;&gt;{{cite book|last=Delgado|first=Jose|title=Physical Control of the Mind: Toward a Psychocivilized Society|year=1986|publisher=Harper and Row|location=New York |isbn=0-06-131914-7}}&lt;/ref&gt;&lt;ref name=&quot;Faria 3&quot;&gt;{{cite journal|vauthors = Faria MA|title = Violence, mental illness, and the brain – A brief history of psychosurgery: Part 3 – From deep brain stimulation to amygdalotomy for violent behavior, seizures, and pathological aggression in humans|journal = Surgical Neurology International|volume = 4|issue = 1|pages = 91|year = 2013|pmid = 23956934|pmc = 3740620|doi = 10.4103/2152-7806.115162}}&lt;/ref&gt;&lt;ref name=&quot;:28&quot;&gt;{{cite journal|vauthors = Robison RA, Taghva A, Liu CY, Apuzzo ML|title = Surgery of the mind, mood, and conscious state: an idea in evolution|journal = World Neurosurgery|volume = 77|issue = 5–6|pages = 662–86|year = 2012|pmid = 22446082|doi = 10.1016/j.wneu.2012.03.005}}&lt;/ref&gt;。<br /> <br /> <br /> 一项针对TRD和OCD的系统回顾发现了23例DBS, 9例为OCD, 7例为TRD, 1例为两者。大约一半的患者确实表现出了显著的改善，而且考虑到精神病患者的年龄相对于运动障碍患者的年龄，不良事件通常微不足道&lt;ref name=Lakhan&gt;{{cite journal|vauthors = Lakhan SE, Callaway E|title = Deep brain stimulation for obsessive-compulsive disorder and treatment-resistant depression: systematic review|journal = BMC Research Notes|volume = 3|issue = 1|pages = 60|date = March 2010|pmid = 20202203|pmc = 2838907|doi = 10.1186/1756-0500-3-60}}&lt;/ref&gt;。在第一个随机对照研究中，DBS用于治疗以腹侧囊/腹侧纹状体区域为靶点的TRD，在16周的研究结束时，active组和sham组之间的缓解率没有显著差异&lt;ref name=&quot;:29&quot;&gt;{{cite journal|vauthors = Dougherty DD, Rezai AR, Carpenter LL, Howland RH, Bhati MT, O'Reardon JP, Eskandar EN, Baltuch GH, Machado AD, Kondziolka D, Cusin C, Evans KC, Price LH, Jacobs K, Pandya M, Denko T, Tyrka AR, Brelje T, Deckersbach T, Kubu C, Malone DA|title = A Randomized Sham-Controlled Trial of Deep Brain Stimulation of the Ventral Capsule/Ventral Striatum for Chronic Treatment-Resistant Depression|journal = Biological Psychiatry|volume = 78|issue = 4|pages = 240–48|date = August 2015|pmid = 25726497|doi = 10.1016/j.biopsych.2014.11.023|s2cid = 22644265}}&lt;/ref&gt;。然而，另一项腹侧胶囊DBS治疗TRD的随机对照研究确实表明，有效DBS(有效率为44%)和假DBS(有效率为0%)的缓解率存在显著差异)&lt;ref name=&quot;:30&quot;&gt;{{cite journal|vauthors = Bergfeld IO, Mantione M, Hoogendoorn ML, Ruhé HG, Notten P, van Laarhoven J, Visser I, Figee M, de Kwaasteniet BP, Horst F, Schene AH, van den Munckhof P, Beute G, Schuurman R, Denys D|display-authors = 6|title = Deep Brain Stimulation of the Ventral Anterior Limb of the Internal Capsule for Treatment-Resistant Depression: A Randomized Clinical Trial|journal = JAMA Psychiatry|volume = 73|issue = 5|pages = 456–64|date = May 2016|pmid = 27049915|doi = 10.1001/jamapsychiatry.2016.0152|doi-access = free}}&lt;/ref&gt;。DBS治疗强迫症疗效显著，重症和难治性患者平均有效率为60%&lt;ref name=&quot;:31&quot;&gt;{{cite journal|vauthors = Alonso P, Cuadras D, Gabriëls L, Denys D, Goodman W, Greenberg BD, Jimenez-Ponce F, Kuhn J, Lenartz D, Mallet L, Nuttin B, Real E, Segalas C, Schuurman R, du Montcel ST, Menchon JM|display-authors = 6|title = Deep Brain Stimulation for Obsessive-Compulsive Disorder: A Meta-Analysis of Treatment Outcome and Predictors of Response|journal = PLOS ONE|volume = 10|issue = 7|pages = e0133591|date = 2015-07-24|pmid = 26208305|pmc = 4514753|doi = 10.1371/journal.pone.0133591|bibcode = 2015PLoSO..1033591A|doi-access = free}}&lt;/ref&gt;。根据这些结果，美国食品和药物管理局(FDA)根据人道主义器械豁免(HDE)批准了DBS治疗顽症，要求只有在有专业资格的医院才能实施该手术。<br /> <br /> <br /> DBS治疗TRD与抗抑郁药一样有效，有良好的反应率和缓解率，但不良反应和安全性必须得到更全面的评估。常见的副作用包括伤口感染、围手术期头痛、情绪恶化/烦躁以及自杀倾向增加&lt;ref name=Moreines&gt;{{cite journal|vauthors = Moreines JL, McClintock SM, Holtzheimer PE|title = Neuropsychologic effects of neuromodulation techniques for treatment-resistant depression: a review|journal = Brain Stimulation|volume = 4|issue = 1|pages = 17–27|date = January 2011|pmid = 21255751|pmc = 3023999|doi = 10.1016/j.brs.2010.01.005}}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === 其他临床应用 ===<br /> DBS对肌张力障碍患者的治疗结果显示，积极效果往往在数周至数月的时间内逐渐显现，至少在某些情况下显示出功能重组的作用&lt;ref name=&quot;:32&quot;&gt;{{cite journal|vauthors = Krauss JK|title = Deep brain stimulation for dystonia in adults. Overview and developments|journal = Stereotactic and Functional Neurosurgery|volume = 78|issue = 3–4|pages = 168–82|year = 2002|pmid = 12652041|doi = 10.1159/000068963|s2cid = 71888143}}&lt;/ref&gt;。该方法已经在对药物有抗药性的癫痫患者身上进行了有效性测试&lt;ref name=&quot;:33&quot;&gt;{{cite journal|vauthors = Wu C, Sharan AD|title = Neurostimulation for the treatment of epilepsy: a review of current surgical interventions|journal = Neuromodulation|volume = 16|issue = 1|pages = 10–24; discussion 24|date = Jan–Feb 2013|pmid = 22947069|doi = 10.1111/j.1525-1403.2012.00501.x|s2cid = 1711587}}&lt;/ref&gt;。DBS可通过程序性或反应性刺激减少或消除癫痫发作。<br /> <br /> <br /> 对精神分裂症患者的鼻中隔区域进行DBS可增强警惕性、合作性和欣快感&lt;ref&gt;{{cite journal|vauthors = Heath RG|title = Pleasure and brain activity in man. Deep and surface electroencephalograms during orgasm|journal = The Journal of Nervous and Mental Disease|volume = 154|issue = 1|pages = 3–18|date = January 1972|pmid = 5007439|doi = 10.1097/00005053-197201000-00002|s2cid = 136706}}&lt;/ref&gt; 。有嗜睡症和复杂部分性癫痫的患者也报告说，自我诱发的间隔核深部脑刺激能产生欣快感和性想法&lt;ref name=&quot;Faria 3&quot; /&gt;。<br /> <br /> <br /> 据报道，通过深度电极对大脑进行电刺激，左侧海马体为3毫安，右侧海马体为1毫安&lt;ref name=&quot;:34&quot;&gt;{{cite journal|vauthors = Surbeck W, Bouthillier A, Nguyen DK|title = Bilateral cortical representation of orgasmic ecstasy localized by depth electrodes|journal = Epilepsy &amp; Behavior Case Reports|volume = 1|pages = 62–65|pmid = 25667829|pmc = 4150648|doi = 10.1016/j.ebcr.2013.03.002|year = 2013}}&lt;/ref&gt;。<br /> <br /> <br /> 2015年，由神经外科医生领导的一组巴西研究人员描述了一种新技术，该技术允许同时植入电极，称为双侧立体定向术。主要的好处是花在手术上的时间更少，准确性更高&lt;ref name=&quot;:35&quot;&gt;{{cite journal|vauthors = Fonoff ET, Azevedo A, Angelos JS, Martinez RC, Navarro J, Reis PR, Sepulveda ME, Cury RG, Ghilardi MG, Teixeira MJ, Lopez WO|title = Simultaneous bilateral stereotactic procedure for deep brain stimulation implants: a significant step for reducing operation time|journal = Journal of Neurosurgery|volume = 125|issue = 1|pages = 85–89|date = July 2016|pmid = 26684776|doi = 10.3171/2015.7.JNS151026|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 2016年，DBS被发现可以改善Rett综合征小鼠模型的学习和记忆&lt;ref name=&quot;:36&quot;&gt;{{cite journal|vauthors = Lu H, Ash RT, He L, Kee SE, Wang W, Yu D, Hao S, Meng X, Ure K, Ito-Ishida A, Tang B, Sun Y, Ji D, Tang J, Arenkiel BR, Smirnakis SM, Zoghbi HY|title = Loss and Gain of MeCP2 Cause Similar Hippocampal Circuit Dysfunction that Is Rescued by Deep Brain Stimulation in a Rett Syndrome Mouse Model|journal = Neuron|volume = 91|issue = 4|pages = 739–47|date = August 2016|pmid = 27499081|pmc = 5019177|doi = 10.1016/j.neuron.2016.07.018}}&lt;/ref&gt;。最近2018年的研究表明，穹穴DBS上调了涉及突触功能、细胞存活和神经发生的基因&lt;ref name=&quot;:37&quot;&gt;{{cite journal|vauthors = Pohodich AE, Yalamanchili H, Raman AT, Wan YW, Gundry M, Hao S, Jin H, Tang J, Liu Z, Zoghbi HY|title = Forniceal deep brain stimulation induces gene expression and splicing changes that promote neurogenesis and plasticity|journal = eLife|volume = 7|date = March 2018|pmid = 29570050|pmc = 5906096|doi = 10.7554/elife.34031}}&lt;/ref&gt;，在解释海马回路功能的恢复方面迈出了一些第一步。<br /> <br /> <br /> == 另见 ==<br /> * 植入大脑 <br /> * 电痉挛疗法 <br /> * 脑电图 <br /> * 神经调节(医学) <br /> * 神经修复 <br /> * 人脑映射组织 <br /> * 响应性神经刺激疗法设备 <br /> <br /> <br /> == 参考文献 ==<br /> {{reflist|32em}}<br /> <br /> <br /> == 延伸阅读 ==<br /> * {{cite journal|vauthors = Appleby BS, Duggan PS, Regenberg A, Rabins PV|s2cid = 22925963|title = Psychiatric and neuropsychiatric adverse events associated with deep brain stimulation: A meta-analysis of ten years' experience|journal = Movement Disorders|volume = 22|issue = 12|pages = 1722–8|date = September 2007|pmid = 17721929|doi = 10.1002/mds.21551}}<br /> * {{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Hurlemann R, Coenen VA|title = Deep brain stimulation of the human reward system for major depression--rationale, outcomes and outlook|journal = Neuropsychopharmacology|volume = 39|issue = 6|pages = 1303–14|date = May 2014|pmid = 24513970|pmc = 3988559|doi = 10.1038/npp.2014.28}}<br /> * {{cite journal|vauthors = Diamond A, Shahed J, Azher S, Dat-Vuong K, Jankovic J|s2cid = 29677149|title = Globus pallidus deep brain stimulation in dystonia|journal = Movement Disorders|volume = 21|issue = 5|pages = 692–5|date = May 2006|pmid = 16342255|doi = 10.1002/mds.20767}}<br /> * {{cite book|vauthors = Richter EO, Lozano AM |chapter=Deep Brain Stimulation for Parkinson's Disease in Movement Disorders|veditors = Markov M, Rosch PJ |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York, N.Y |year=2004 |pages=265–76 |isbn=978-0-8247-4700-8}}<br /> <br /> <br /> == 外部链接 ==<br /> * 视频： [https://www.youtube.com/watch?v=KDjWdtDyz5I 脑深部电刺激治疗帕金森氏症]<br /> * 视频：[https://www.youtube.com/watch?v=9phXvB077Dw 脑深部电刺激治疗帕金森氏症]<br /> * [http://www.madinamerica.com/2015/09/adverse-effects-perils-deep-brain-stimulation-depression/ 脑深部电刺激治疗抑郁症的风险]<br /> * [https://www.mountsinai.org/locations/center-neuromodulation/what-is/dbs/info 脑深部电刺激治疗运动障碍、强迫症、抽动秽语综合症或抑郁症中心]<br /> * [https://www.mountsinai.org/care/behavioral-health/services/ocd-tics/dbs 脑深部电刺激治疗强迫症中心]<br /> <br /> <br /> ==编者推荐==<br /> ===课程推荐===<br /> ====[https://campus.swarma.org/course/2258 复杂系统与脑科学 ]====<br /> 本小型研讨会希望把活跃在复杂脑系统研究的年轻学者聚在一起对数据采集、分析及网络结构和动力学建模等展开深入探讨，并讨论开展合作的可能性和前沿研究课题。<br /> <br /> <br /> ====[https://campus.swarma.org/course/4558 圆桌论坛：神经动力学在脑重大疾病中的临床应用--以癫痫为例]====<br /> 癫痫发作是高同步、高波幅的病理性神经活动，具有复杂的时间-空间演化模式，并且难以预测、难以干预。同时，人类癫痫发作的机制并不明确，因此为我们的研究带来了很多困难。前人对癫痫发作的动力学性质研究发现：即使癫痫发作电生理信号表现出高同步性，相比于正常背景活动（更多地表现出随机性），癫痫发作的动力学性质或许存在系统变化。动力学系统的稳定性分析或可更好地刻画癫痫发作前或发作中的系统性质变化，并通过维护或破坏系统稳定性，提供外科干预、神经调控与发作预测策略。本期读书会将系统研读多篇临床数据与神经动力学结合的文章（详见参考文献），并邀请神经动力学与临床研究领域的多位老师，通过圆桌讨论的方式，深入探讨如何更好地将动力学分析与临床数据相结合，怎样避免可能存在的陷阱与问题，有哪些前人的经验与教训我们可以从中吸取。<br /> <br /> <br /> ====[https://campus.swarma.org/course/4591 圆桌论坛：网络控制及其在神经调控中的应用]====<br /> 本期读书会，围绕长期神经调控对治疗效果的影响、实现精确神经调控的建模以及寻找神经系统疾病生物标记物等科学问题展开讨论。结合相关文献讨论：1）响应性神经刺激设备在局灶性癫痫疾病长期治疗的脑网络重组(reorganization)；2）从系统辨识的角度实现电刺激过程中大规模脑网络动态响应建模及预测<br /> <br /> <br /> <br /> ----<br /> 本中文词条神经动力学读书会词条梳理志愿者苏苏Anny翻译审校，[[用户:薄荷|薄荷]]编辑，如有问题，欢迎在讨论页面留言。<br /> <br /> <br /> <br /> <br /> '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''<br /> <br /> <br /> [[Category:电子疗法]]<br /> [[Category:医疗设备]]<br /> [[Category:神经内科手术]]<br /> [[Category:神经修复]]<br /> [[Category:神经外科]]<br /> [[Category:神经技术]]<br /> [[Category:神经图雷特氏综合症]]</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%B7%B1%E9%83%A8%E8%84%91%E5%88%BA%E6%BF%80&diff=33340 2022-08-14T14:16:30Z

<p>薄荷：</p> <hr /> <div>{{#seo:<br /> |keywords=脑深部电刺激,神经外科<br /> |description=是神经外科手术中的操作之一，包括放置一种叫做神经刺激器的医疗设备，通过植入的电极将电脉冲发送到大脑中的特定目标(脑核)<br /> }}<br /> <br /> '''脑深部电刺激 Deep brain stimulation''' ('''DBS''')是神经外科手术中的操作之一，包括放置一种叫做神经刺激器的医疗设备，通过植入的电极将电脉冲发送到大脑中的特定目标(脑核) ，治疗包括帕金森病、原发性震颤、肌张力障碍&lt;ref name=Kringelbach&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Owen SL, Aziz TZ|title = Translational principles of deep brain stimulation|journal = Nature Reviews. Neuroscience|volume = 8|issue = 8 |pages = 623–35 |date = August 2007|pmid = 17637800|doi = 10.1038/nrn2196|s2cid = 147427108}}&lt;/ref&gt;和其他疾病，如强迫症(OCD)和癫痫，引起的运动障碍。虽然其基本原理和机制尚不完全清楚，DBS 是一种可控的直接改变大脑活动的方式&lt;ref name=Hammond&gt;{{cite journal|vauthors = Hammond C, Ammari R, Bioulac B, Garcia L|s2cid = 14905206|title = Latest view on the mechanism of action of deep brain stimulation|journal = Movement Disorders|volume = 23|issue = 15|pages = 2111–21|date = November 2008|pmid = 18785230|doi = 10.1002/mds.22120|url = https://www.hal.inserm.fr/inserm-02950812/file/hammond%20mov%20disord-2.Envoy%C3%A902.01.08.pdf}}&lt;/ref&gt;&lt;ref name=garcia&gt;{{cite journal|vauthors = García MR, Pearlmutter BA, Wellstead PE, Middleton RH|title = A slow axon antidromic blockade hypothesis for tremor reduction via deep brain stimulation|journal = PLOS ONE|volume = 8|issue = 9|pages = e73456|year = 2013|pmid = 24066049|pmc = 3774723|doi = 10.1371/journal.pone.0073456|bibcode = 2013PLoSO...873456G|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 1997年，DBS 已经被美国食品和药物管理局批准用于治疗原发性震颤(PD)和帕金森病&lt;ref name=&quot;:0&quot;&gt;{{Cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm451152.htm|title= FDA approves brain implant to help reduce Parkinson's disease and essential tremor symptoms|website=FDA|access-date=May 23, 2016|quote=The first device, Medtronic’s Activa Deep Brain Stimulation Therapy System, was approved in 1997 for tremor associated with essential tremor and Parkinson’s disease.}}&lt;/ref&gt;。2003年被批准,以“脑起搏器”的方法用于肌张力障碍&lt;ref name=&quot;:1&quot;&gt;[http://knbc-tvhealth.ip2m.com/index.cfm?pt=itemDetail&amp;item_id=97349&amp;site_cat_id=470 'Brain pacemaker' treats dystonia.] KNBC TV, April 22, 2003. Retrieved October 18, 2006.&lt;/ref&gt; ，2009年被批准用于强迫症，2018年用于癫痫&lt;ref name=&quot;:2&quot;&gt;{{Cite web|url=http://newsroom.medtronic.com/phoenix.zhtml?c=251324&amp;p=irol-newsArticle&amp;ID=2345882|title= Medtronic Receives FDA Approval for Deep Brain Stimulation Therapy for Medically Refractory Epilepsy|website=newsroom.medtronic.com|access-date=2018-12-18}}&lt;/ref&gt;&lt;ref name=&quot;:3&quot;&gt;{{cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm149529.htm|title=FDA Approves Humanitarian Device Exemption for Deep Brain Stimulator for Severe Obsessive-Compulsive Disorder|work=FDA}}&lt;/ref&gt;&lt;ref name=gildenberg&gt;{{cite journal|vauthors = Gildenberg PL|title = Evolution of neuromodulation|journal = Stereotactic and Functional Neurosurgery|volume = 83|issue = 2–3|pages = 71–79|year = 2005|pmid = 16006778|doi = 10.1159/000086865|s2cid = 20234898}}&lt;/ref&gt;。DBS 已经在临床试验中被研究用作各种情感障碍(包括重度抑郁症的慢性疼痛的潜在治疗方法。这是少数允许[[盲法研究]]的神经外科手术之一&lt;ref name=&quot;Kringelbach&quot; /&gt;。<br /> <br /> <br /> == 医疗用途 ==<br /> [[Image:Parkinson surgery.jpg|thumb|250px|在手术过程中使用立体定向框架插入电极]]<br /> <br /> === 帕金森氏病 ===<br /> DBS用于治疗帕金森病的一些无法用药完全控制的症状&lt;ref name=NINDS/&gt;&lt;ref name=&quot;USDHHS&quot;&gt;U.S. Department of Health and Human Services. [https://www.fda.gov/MedicalDevices/ProductsandMedicalProcedures/DeviceApprovalsandClearances/Recently-ApprovedDevices/ucm083894.htm FDA approves implanted brain stimulator to control tremors.] Retrieved February 10, 2015.&lt;/ref&gt;。通过对丘脑内外侧、内苍白球和丘脑下核(STN)三个靶结构应用高频(&gt; 100 Hz)刺激治疗PD，以模拟病变的临床效果&lt;ref name=&quot;:4&quot;&gt;Koller, W. and Melamed, E., 2007. Parkinson's disease and related disorders. 1st ed. Edinburgh: Elsevier.&lt;/ref&gt;。它适合推荐给药物控制不充分的运动波动和震颤的PD患者，或对药物不耐受的患者，只要他们没有严重的神经精神问题&lt;ref name=&quot;pmid20937936&quot;&gt;{{cite journal |vauthors=Bronstein JM, Tagliati M, Alterman RL, Lozano AM, Volkmann J, Stefani A, Horak FB, Okun MS, Foote KD, Krack P, Pahwa R, Henderson JM, Hariz MI, Bakay RA, Rezai A, Marks WJ, Moro E, Vitek JL, Weaver FM, Gross RE, DeLong MR |title=Deep brain stimulation for Parkinson disease: an expert consensus and review of key issues |journal=Archives of Neurology |volume=68 |issue=2 |page=165 |date=February 2011 |pmid=20937936 |pmc=4523130 |doi=10.1001/archneurol.2010.260 |display-authors=1}}&lt;/ref&gt; 。在帕金森病中，有苍白球内、丘脑、丘脑下核和桥脚核四个脑区使用神经刺激器进行治疗。然而，在常规手术中，大多数DBS手术不是针对苍白球内，就是针对丘脑下核。<br /> * 苍白球内的DBS减少了不可控的震颤运动，称为运动障碍。这使患者能够服用足够数量的药物(特别是左旋多巴)，从而更好地控制症状。<br /> * 丘脑底核深部脑刺激可直接减轻帕金森病症状。这可以减少抗帕金森药物的剂量。<br /> * PPN的DBS可能有助于步态冻结，而丘脑的DBS可能有助于颤抖。这些靶标通常不被使用。<br /> <br /> <br /> 选择正确的 DBS 目标是一个复杂的过程。多种临床特征被用来选择目标，包括识别最棘手的症状、患者目前正在服用的左旋多巴的剂量、当前药物的作用和副作用以及同时出现的问题。例如，丘脑下核 DBS 可能会加重抑郁症，因此对于无法控制的抑郁症患者来说并不是首选。<br /> <br /> <br /> 一般来说，DBS 与运动成绩评定的30-60% 的改善有关&lt;ref name=&quot;Dallapiazza2018&quot;&gt;{{cite book |last1=Dallapiazza |first1=R. F. |last2=Vloo |first2=P. D. |last3=Fomenko |first3=A. |last4=Lee |first4=D. J. |last5=Hamani |first5=C. |last6=Munhoz |first6=R. P. |last7=Hodaie |first7=M. |last8=Lozano |first8=A. M. |last9=Fasano |first9=A. |last10=Kalia |year=2018 |chapter=Considerations for Patient and Target Selection in Deep Brain Stimulation surgery for Parkinson’s disease |editor-last=Stoker |editor-first=T. B. |editor2-last=Greenland |editor2-first=J. C. |title=Parkinson's disease: Pathogenesis and clinical aspects |location=Brisbane |publisher=Codon Publications |isbn=978-0-9944381-6-4 |doi=10.15586/codonpublications.parkinsonsdisease.2018.ch8 |pmid=30702838|s2cid=81155324 }}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === Tourette综合症 ===<br /> DBS已被实验性地用于治疗对常规治疗没有反应的成人严重'''Tourette综合症'''。尽管早期的成功被广泛宣传，DBS治疗图雷特氏症仍然是一个高度实验性的程序，需要更多的研究来确定长期的好处是否大于风险&lt;ref name=&quot;Singer2011&quot;&gt;{{cite book|vauthors = Singer HS|title = Hyperkinetic Movement Disorders|chapter = Tourette syndrome and other tic disorders|journal = Handbook of Clinical Neurology|volume = 100|pages = 641–57|date = March 2005|pmid = 21496613|doi = 10.1016/B978-0-444-52014-2.00046-X|isbn = 9780444520142}} Also see {{cite journal|vauthors = Singer HS|title = Tourette's syndrome: from behaviour to biology|journal = The Lancet. Neurology|volume = 4|issue = 3|pages = 149–59|date = March 2005|pmid = 15721825|doi = 10.1016/S1474-4422(05)01012-4|s2cid = 20181150}}&lt;/ref&gt;&lt;ref name=Robertson2011&gt;{{cite journal|vauthors = Robertson MM|title = Gilles de la Tourette syndrome: the complexities of phenotype and treatment|journal = British Journal of Hospital Medicine|volume = 72|issue = 2|pages = 100–07|date = February 2011|pmid = 21378617|doi = 10.12968/hmed.2011.72.2.100}}&lt;/ref&gt;&lt;ref name=Du2010&gt;{{cite journal|vauthors = Du JC, Chiu TF, Lee KM, Wu HL, Yang YC, Hsu SY, Sun CS, Hwang B, Leckman JF|title = Tourette syndrome in children: an updated review|journal = Pediatrics and Neonatology|volume = 51|issue = 5|pages = 255–64|date = October 2010|pmid = 20951354|doi = 10.1016/S1875-9572(10)60050-2|doi-access = free}}&lt;/ref&gt;&lt;ref name=&quot;:5&quot;&gt;[[Tourette Association of America|Tourette Syndrome Association]]. [https://web.archive.org/web/20051122154536/http://tsa-usa.org/news/DBS-Statement.htm Statement: Deep Brain Stimulation and Tourette Syndrome.] Retrieved November 22, 2005.&lt;/ref&gt; 。该手术耐受性良好，但并发症包括“电池寿命短，停止刺激后症状突然恶化，轻度躁狂或躁狂转化，以及优化刺激参数所需的大量时间和精力”&lt;ref name=Malone&gt;{{cite journal|vauthors = Malone DA, Pandya MM|title = Behavioral neurosurgery|journal = Advances in Neurology|volume = 99|pages = 241–47|year = 2006|pmid = 16536372}}&lt;/ref&gt; 。截至2006年，有5人被报告患有TS;所有人都经历了抽搐的减少和强迫行为的消失&lt;ref name=&quot;Malone&quot; /&gt;。<br /> <br /> <br /> 这种手术具有侵入性，费用昂贵，需要长期的专家护理。考虑到在荷兰进行的这种手术效果较差，重度抽动秽语综合症的益处还不能下结论。抽动秽语综合症在儿童群体中更为常见，成年后趋于缓解，所以一般不推荐在儿童身上使用这种疗法。因为抽动秽语综合症的诊断是基于症状的历史而不是神经活动的分析，所以如何为特定的人应用 DBS 并不总是很清楚。由于担心使用DBS治疗抽动秽语综合症，美国图雷特协会召集了一组专家来制定建议，指导DBS治疗TS的使用和潜在的临床试验&lt;ref name=&quot;:6&quot;&gt;{{cite journal|vauthors = Mink JW, Walkup J, Frey KA, Como P, Cath D, Delong MR, Erenberg G, Jankovic J, Juncos J, Leckman JF, Swerdlow N, Visser-Vandewalle V, Vitek JL|title = Patient selection and assessment recommendations for deep brain stimulation in Tourette syndrome|journal = Movement Disorders|volume = 21|issue = 11|pages = 1831–38|date = November 2006|pmid = 16991144|doi = 10.1002/mds.21039|url = https://deepblue.lib.umich.edu/bitstream/2027.42/55891/1/21039_ftp.pdf|hdl = 2027.42/55891|s2cid = 16353255|hdl-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> Robertson 报告说，截至2011年，DBS 已经在55名成年人身上使用，在当时仍然是一种试验性的治疗方法，并且建议这种手术“应该只由有经验的功能性神经外科医生进行，这些医生所在的中心还有一个专门的图雷特氏综合症诊所”&lt;ref name=&quot;Robertson2011&quot; /&gt; 。根据Malone等人的说法(2006年) ，“只有患有严重的、使人衰弱的和治疗难以治愈的疾病的患者才应该被考虑; 而那些有严重的人格障碍和物质滥用问题的患者应该被排除在外“&quot;&lt;ref name=&quot;Malone&quot; /&gt;。Du 等人(2010)说，“作为一种侵入性治疗，DBS 目前仅适用于严重受影响、治疗难治性 TS 的成年人”&lt;ref name=&quot;Du2010&quot; /&gt; 。Singer (2011年)说，“在确定患者选择标准和仔细控制的临床试验结果之前，建议采取谨慎的方法”&lt;ref name=&quot;Singer2011&quot; /&gt;。Viswanathan等人(2012)表示，DBS 应该用于“严重功能障碍且无法医学治疗”的患者。&lt;ref&gt;{{cite journal|vauthors = Viswanathan A, Jimenez-Shahed J, Baizabal Carvallo JF, Jankovic J|title = Deep brain stimulation for Tourette syndrome: target selection|journal = Stereotactic and Functional Neurosurgery|volume = 90|issue = 4|pages = 213–24|year = 2012|pmid = 22699684|doi = 10.1159/000337776|doi-access = free}}&lt;/ref&gt;<br /> <br /> ==不良反应==<br /> [[File:Mra1.jpg|thumb|left|DBS植入时可出血的动脉供应动脉造影。]]<br /> DBS具有大手术的风险，并发症的发生率与手术团队的经验有关。主要并发症包括出血(1-2%)和感染(3-5%)&lt;ref name=&quot;:7&quot;&gt;{{cite journal|vauthors = Doshi PK|title = Long-term surgical and hardware-related complications of deep brain stimulation|journal = Stereotactic and Functional Neurosurgery|volume = 89|issue = 2|pages = 89–95|date = April 2011|pmid = 21293168|doi = 10.1159/000323372|s2cid = 10553177}}&lt;/ref&gt;。<br /> <br /> <br /> DBS 有可能导致神经精神方面的副作用，包括冷漠、幻觉、性欲亢进、认知功能障碍、抑郁和欣快感。然而，这些影响可能是暂时的，与(1)电极的正确放置，(2)开环VS闭环刺激，意味着持续刺激或人工智能监测传输系统&lt;ref name=&quot;:8&quot;&gt;{{cite journal|authors = Scangos, K.W., Makhoul, G.S., Sugrue, L.P.|title = State-dependent responses to intracranial brain stimulation in a patient with depression|journal = Nat Med|year = 2021|volume = 27|issue = 2|pages = 229–231|doi = 10.1038/s41591-020-01175-8|pmid = 33462446|issn=1078-8956|pmc = 8284979}}&lt;/ref&gt;，以及(3)刺激器的校准有关，因此这些副作用可能是可逆的&lt;ref name=&quot;:9&quot;&gt;{{cite journal|vauthors = Burn DJ, Tröster AI|title = Neuropsychiatric complications of medical and surgical therapies for Parkinson's disease|journal = Journal of Geriatric Psychiatry and Neurology|volume = 17|issue = 3|pages = 172–80|date = September 2004|pmid = 15312281|doi = 10.1177/0891988704267466|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 因为在手术过程中大脑可能会轻微移动，电极可能会从特定位置移位或移位。这可能会导致更深刻的并发症，如个性的改变，但电极错位使用CT扫描相对容易识别。此外，手术并发症也可能发生，如脑出血。手术后，脑组织肿胀、轻度定向障碍和嗜睡均属正常。2-4周后，进行随访，拆除缝合线，打开神经刺激器，并对其进行编程。<br /> <br /> <br /> 游泳技能受损被认为是该手术的一个意外风险;几名帕金森氏症患者在接受脑深部刺激后失去了游泳能力&lt;ref name=&quot;:10&quot;&gt;{{Cite web|url=https://www.medpagetoday.com/geriatrics/parkinsonsdisease/83610|title=Deep Brain Stimulation May Put Parkinson's Patients at Risk for Drowning|date=2019-11-27|website=www.medpagetoday.com|language=en|access-date=2019-12-09}}&lt;/ref&gt;&lt;ref name=&quot;:11&quot;&gt;{{Cite journal|last1=Bangash|first1=Omar K.|last2=Thorburn|first2=Megan|last3=Garcia-Vega|first3=Jimena|last4=Walters|first4=Susan|last5=Stell|first5=Rick|last6=Starkstein|first6=Sergio E.|last7=Lind|first7=Christopher R. P.|date=May 2016|title=Drowning hazard with deep brain stimulation: case report|journal=Journal of Neurosurgery|volume=124|issue=5|pages=1513–16|doi=10.3171/2015.5.JNS15589|issn=1933-0693|pmid=26566200|doi-access=free}}&lt;/ref&gt;。<br /> <br /> <br /> == 机制 ==<br /> DBS 的确切作用机制尚不清楚&lt;ref name=&quot;:12&quot;&gt;{{cite book |author1=Mogilner A.Y. |author2=Benabid A.L. |author3=Rezai A.R. |chapter=Chronic Therapeutic Brain Stimulation: History, Current Clinical Indications, and Future Prospects |editor1=Markov, Marko |editor2=Paul J. Rosch |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York |year=2004 |pages=133–51 |isbn=978-0-8247-4700-8}}&lt;/ref&gt;。各种各样的假说试图解释 DBS 的机制:&lt;ref name=&quot;:13&quot;&gt;{{cite journal|vauthors = McIntyre CC, Thakor NV|title = Uncovering the mechanisms of deep brain stimulation for Parkinson's disease through functional imaging, neural recording, and neural modeling|journal = Critical Reviews in Biomedical Engineering|volume = 30|issue = 4–6|pages = 249–81|year = 2002|pmid = 12739751|doi = 10.1615/critrevbiomedeng.v30.i456.20}}&lt;/ref&gt;&lt;ref name=&quot;:14&quot;&gt;{{cite journal|vauthors = Herrington TM, Cheng JJ, Eskandar EN|title = Mechanisms of deep brain stimulation|journal = Journal of Neurophysiology|volume = 115|issue = 1|pages = 19–38|date = January 2016|pmid = 26510756|pmc = 4760496|doi = 10.1152/jn.00281.2015}}&lt;/ref&gt;<br /> <br /> # 去极化阻滞:电流阻断神经元在电极处或电极附近的输出。<br /> # 突触抑制:通过激活与刺激电极附近的神经元突触连接的轴突末梢，引起神经元输出的间接调节。<br /> # 神经元异常振荡活动的去同步。<br /> # 反向激活激活/阻滞远端神经元或阻滞慢轴突&lt;ref name=&quot;garcia&quot; /&gt;。<br /> <br /> <br /> DBS是对以往苍白球切开术(即苍白球外科消融)或丘脑切开术(即丘脑外科消融)治疗的一种进步&lt;ref name=&quot;:15&quot;&gt;{{cite journal|vauthors = Machado A, Rezai AR, Kopell BH, Gross RE, Sharan AD, Benabid AL|s2cid = 18194178|title = Deep brain stimulation for Parkinson's disease: surgical technique and perioperative management|journal = Movement Disorders|volume = 21 Suppl 14|issue = Suppl 14|pages = S247–58|date = June 2006|pmid = 16810722|doi = 10.1002/mds.20959}}&lt;/ref&gt;。取而代之的是，将一个带有多个电极的细导线植入苍白球、腹外侧核或丘脑下核，电脉冲用于治疗。植入物的导线延伸到胸部皮肤下的神经刺激器。<br /> <br /> <br /> 它对脑细胞和神经递质的直接影响目前还在争论中，但通过向大脑的特定区域发送高频电脉冲，它可以减轻症状&lt;ref name=&quot;:16&quot;&gt;{{cite journal|vauthors = Moro E, Lang AE|title = Criteria for deep-brain stimulation in Parkinson's disease: review and analysis|journal = Expert Review of Neurotherapeutics|volume = 6|issue = 11|pages = 1695–705|date = November 2006|pmid = 17144783|doi = 10.1586/14737175.6.11.1695|s2cid = 20857769}}&lt;/ref&gt;，直接减少帕金森病药物引起的副作用&lt;ref name=&quot;:17&quot;&gt;{{cite journal|vauthors = Apetauerova D, Ryan RK, Ro SI, Arle J, Shils J, Papavassiliou E, Tarsy D|title = End of day dyskinesia in advanced Parkinson's disease can be eliminated by bilateral subthalamic nucleus or globus pallidus deep brain stimulation|journal = Movement Disorders|volume = 21|issue = 8|pages = 1277–79|date = August 2006|pmid = 16637040|doi = 10.1002/mds.20896|s2cid = 42122286}}&lt;/ref&gt;，使药物减少，或使药物治疗方案更容易忍受。<br /> <br /> <br /> == 组成和布局 ==<br /> DBS系统由三部分组成:植入脉冲发生器(IPG)、引线和扩展部分。IPG是一种由电池供电的神经刺激器，包裹在钛外壳中，它向大脑发送电脉冲，干扰目标部位的神经活动。铅是用聚氨酯绝缘的线圈，有四个铂铱电极，被放置在大脑的一个或两个不同的核中。引线通过一根延伸线与IPG连接，这是一根绝缘电线，在皮肤下面，从头部、颈部侧面、耳朵后面，到IPG, IPG位于锁骨下皮下，在某些情况下，是腹部&lt;ref name=NINDS&gt;[[National Institute of Neurological Disorders and Stroke]]. [http://www.ninds.nih.gov/disorders/deep_brain_stimulation/deep_brain_stimulation.htm Deep brain stimulation for Parkinson's disease information page] Retrieved November 23, 2006.&lt;/ref&gt;。IPG可以由神经科医生、护士或训练有素的技术人员校准，以优化症状抑制和控制副作用&lt;ref name=Volkmann&gt;{{cite journal|vauthors = Volkmann J, Herzog J, Kopper F, Deuschl G|title = Introduction to the programming of deep brain stimulators|journal = Movement Disorders|volume = 17 Suppl 3|pages = S181–87|year = 2002|pmid = 11948775|doi = 10.1002/mds.10162|s2cid = 21988668}}&lt;/ref&gt;。<br /> <br /> <br /> 根据需要治疗的症状类型，将DBS导联植入大脑。对于非帕金森特发性震颤，导线放置在丘脑腹中间核或内嵌带&lt;ref name=&quot;:18&quot;&gt;{{cite journal|vauthors = Lee JY, Deogaonkar M, Rezai A|title = Deep brain stimulation of globus pallidus internus for dystonia|journal = Parkinsonism &amp; Related Disorders|volume = 13|issue = 5|pages = 261–65|date = July 2007|pmid = 17081796|doi = 10.1016/j.parkreldis.2006.07.020}}&lt;/ref&gt;; 对于肌张力障碍和与PD相关的症状(强直、运动迟缓/运动不全和震颤，导线可置于苍白球内或丘脑下核；对强迫症和抑郁症的作用是伏隔核；持续疼痛至丘脑后区或导水管周围灰质区;以及丘脑前核的癫痫治疗&lt;ref name=&quot;:19&quot;&gt;[http://www.surgeryencyclopedia.com/Ce-Fi/Deep-Brain-Stimulation.html Deep brain stimulation.] Surgery Encyclopedia. Retrieved January 25, 2007.&lt;/ref&gt;。<br /> <br /> <br /> 这三种成分都要通过手术植入体内。铅植入可在局部麻醉或全身麻醉下进行(“睡眠DBS”)，如肌张力障碍。在颅骨上钻一个直径约14毫米的孔，使用基于框架或无框架的立体定向方式将探针电极立体定向插入&lt;ref name=&quot;:20&quot;&gt;{{cite journal|vauthors = Owen CM, Lindsey ME|title = Frame-based stereotaxy in a frameless era: current capabilities, relative role, and the positive- and negative predictive values of blood through the needle.|journal = Journal of Neuro-Oncology|volume = 93|issue = 1|pages = 139–49|date = May 2009|pmid = 19430891|doi = 10.1007/s11060-009-9871-y| doi-access = free}}&lt;/ref&gt;。在局部麻醉的清醒过程中，来自人的反馈被用来确定永久电极的最佳放置位置。在睡眠过程中，利用术中MRI引导对脑组织和设备进行直接可视化&lt;ref name=&quot;:21&quot;&gt;{{cite journal|vauthors = Starr PA, Martin AJ, Ostrem JL, Talke P, Levesque N, Larson PS|title = Subthalamic nucleus deep brain stimulator placement using high-field interventional magnetic resonance imaging and a skull-mounted aiming device: technique and application accuracy|journal = Journal of Neurosurgery|volume = 112|issue = 3|pages = 479–90|date = March 2010|pmid = 19681683|pmc = 2866526|doi = 10.3171/2009.6.JNS081161}}&lt;/ref&gt;。IPG和延伸导线的安装是在全身麻醉下进行的&lt;ref name=&quot;:22&quot;&gt;[http://www.neurosurgery.pitt.edu/imageguided/movement/stimulation.html Deep Brain Stimulation], Department of Neurological Surgery, University of Pittsburgh. Retrieved May 13, 2008.&lt;/ref&gt;。刺激右脑来解决身体左侧的症状，反之亦然。<br /> <br /> &lt;br&gt;<br /> <br /> == 研究 ==<br /> === 慢性痛 ===<br /> 刺激导水管周围灰质和脑室周围灰质来治疗痛觉性疼痛，刺激内囊、腹侧后外侧核和腹侧后内侧核来治疗神经性疼痛，对一些人产生了令人印象深刻的结果，但结果各不相同。一项&lt;ref name = Young&gt;{{cite journal|authors = Young RF &amp; Brechner T|title = Electrical stimulation of the brain for relief of intractable pain due to cancer|journal = Cancer|volume = 57|year = 1986|issue = 6|pages = 1266–72|pmid = 3484665|doi=10.1002/1097-0142(19860315)57:6&lt;1266::aid-cncr2820570634&gt;3.0.co;2-q| doi-access = free}}&lt;/ref&gt;针对17名癌症顽固性疼痛患者的研究发现，其中13人几乎没有疼痛，只有4人在干预后出院时需要服用阿片类镇痛药。大多数人最终诉诸于阿片类药物，通常是在生命的最后几周&lt;ref name=&quot;Johnson&quot;&gt;{{cite book|authors = Johnson MI, Oxberry SG &amp; Robb K|chapter = Stimulation-induced analgesia|pages = 235–50|editor = Sykes N, Bennett MI &amp; Yuan C-S|title = Clinical pain management: Cancer pain|edition = 2nd|isbn = 978-0-340-94007-5|publisher = Hodder Arnold|location = London|year = 2008}}&lt;/ref&gt;。DBS也被用于治疗幻肢疼痛&lt;ref name=&quot;:23&quot;&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Green AL, Owen SL, Hansen PC, Cornelissen PL, Holliday IE, Stein J, Aziz TZ|title = Deep brain stimulation for chronic pain investigated with magnetoencephalography|journal = NeuroReport|volume = 18|issue = 3|pages = 223–28|date = February 2007|pmid = 17314661|doi = 10.1097/wnr.0b013e328010dc3d|citeseerx = 10.1.1.511.2667|s2cid = 7091307}}&lt;/ref&gt;。<br /> <br /> <br /> === 重度抑郁症和强迫症 ===<br /> [[File:X-ray of deep brain stimulation in OCD, L.png|thumb|头部侧面 X 光片：强迫症(OCD) 中的深部脑刺激。42岁男性，2013年手术。]]<br /> <br /> DBS已在少量临床试验中用于治疗严重难治性抑郁症(TRD)患者&lt;ref name=&quot;Anderson&quot;&gt;{{cite journal|vauthors = Anderson RJ, Frye MA, Abulseoud OA, Lee KH, McGillivray JA, Berk M, Tye SJ|title = Deep brain stimulation for treatment-resistant depression: efficacy, safety and mechanisms of action|journal = Neuroscience and Biobehavioral Reviews|volume = 36|issue = 8|pages = 1920–33|date = September 2012|pmid = 22721950|doi = 10.1016/j.neubiorev.2012.06.001|s2cid = 207089716}}&lt;/ref&gt;。DBS治疗TRD的神经解剖学靶点包括膝下扣带回、后直回&lt;ref name=&quot;:24&quot;&gt;{{cite journal|vauthors = Accolla EA, Aust S, Merkl A, Schneider GH, Kühn AA, Bajbouj M, Draganski B|title = Deep brain stimulation of the posterior gyrus rectus region for treatment resistant depression|journal = Journal of Affective Disorders|volume = 194|pages = 33–37|date = April 2016|pmid = 26802505|doi = 10.1016/j.jad.2016.01.022|doi-access = free}}&lt;/ref&gt;、伏隔核&lt;ref name=&quot;:25&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Cohen MX, Frick C, Kosel M, Brodesser D, Axmacher N, Joe AY, Kreft M, Lenartz D, Sturm V|title = Deep brain stimulation to reward circuitry alleviates anhedonia in refractory major depression|journal = Neuropsychopharmacology|volume = 33|issue = 2|pages = 368–77|date = January 2008|pmid = 17429407|doi = 10.1038/sj.npp.1301408|doi-access = free}}&lt;/ref&gt;、腹侧囊/腹侧纹状体、丘脑下蒂和外侧缰状核&lt;ref name=&quot;Anderson&quot; /&gt; 。最近提出的DBS干预抑郁症的靶点是内侧前脑束的上外侧支;它的刺激导致惊人的快速抗抑郁作用&lt;ref name=&quot;:26&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Mädler B, Coenen VA|title = Rapid effects of deep brain stimulation for treatment-resistant major depression|journal = Biological Psychiatry|volume = 73|issue = 12|pages = 1204–12|date = June 2013|pmid = 23562618|doi = 10.1016/j.biopsych.2013.01.034|s2cid = 6374368}}&lt;/ref&gt;。<br /> <br /> <br /> DBS治疗TRD的早期试验数量较少，目前限制了最佳神经解剖学靶点的选择&lt;ref name=&quot;Anderson&quot; /&gt; 。证据不足以支持DBS作为抑郁症的治疗方式;然而，该手术可能是未来一种有效的治疗方式&lt;ref name=&quot;:27&quot;&gt;{{cite journal |last1=Murphy |first1=Destiny N. |last2=Boggio |first2=Paulo |last3=Fregni |first3=Felipe |title=Transcranial direct current stimulation as a therapeutic tool for the treatment of major depression: insights from past and recent clinical studies |journal=Curr Opin Psychiatry |year=2009 |volume=22 |issue=3 |pages=306–11 |doi=10.1097/YCO.0b013e32832a133f |pmid=19339889 |s2cid=11392351}}&lt;/ref&gt;。事实上，神经外科文献中已经记录了有益的结果，包括一些为重度抑郁的人提供便携式刺激器进行自我治疗的例子&lt;ref name=&quot;Delgado 1986&quot;&gt;{{cite book|last=Delgado|first=Jose|title=Physical Control of the Mind: Toward a Psychocivilized Society|year=1986|publisher=Harper and Row|location=New York |isbn=0-06-131914-7}}&lt;/ref&gt;&lt;ref name=&quot;Faria 3&quot;&gt;{{cite journal|vauthors = Faria MA|title = Violence, mental illness, and the brain – A brief history of psychosurgery: Part 3 – From deep brain stimulation to amygdalotomy for violent behavior, seizures, and pathological aggression in humans|journal = Surgical Neurology International|volume = 4|issue = 1|pages = 91|year = 2013|pmid = 23956934|pmc = 3740620|doi = 10.4103/2152-7806.115162}}&lt;/ref&gt;&lt;ref name=&quot;:28&quot;&gt;{{cite journal|vauthors = Robison RA, Taghva A, Liu CY, Apuzzo ML|title = Surgery of the mind, mood, and conscious state: an idea in evolution|journal = World Neurosurgery|volume = 77|issue = 5–6|pages = 662–86|year = 2012|pmid = 22446082|doi = 10.1016/j.wneu.2012.03.005}}&lt;/ref&gt;。<br /> <br /> <br /> 一项针对TRD和OCD的系统回顾发现了23例DBS, 9例为OCD, 7例为TRD, 1例为两者。大约一半的患者确实表现出了显著的改善，而且考虑到精神病患者的年龄相对于运动障碍患者的年龄，不良事件通常微不足道&lt;ref name=Lakhan&gt;{{cite journal|vauthors = Lakhan SE, Callaway E|title = Deep brain stimulation for obsessive-compulsive disorder and treatment-resistant depression: systematic review|journal = BMC Research Notes|volume = 3|issue = 1|pages = 60|date = March 2010|pmid = 20202203|pmc = 2838907|doi = 10.1186/1756-0500-3-60}}&lt;/ref&gt;。在第一个随机对照研究中，DBS用于治疗以腹侧囊/腹侧纹状体区域为靶点的TRD，在16周的研究结束时，active组和sham组之间的缓解率没有显著差异&lt;ref name=&quot;:29&quot;&gt;{{cite journal|vauthors = Dougherty DD, Rezai AR, Carpenter LL, Howland RH, Bhati MT, O'Reardon JP, Eskandar EN, Baltuch GH, Machado AD, Kondziolka D, Cusin C, Evans KC, Price LH, Jacobs K, Pandya M, Denko T, Tyrka AR, Brelje T, Deckersbach T, Kubu C, Malone DA|title = A Randomized Sham-Controlled Trial of Deep Brain Stimulation of the Ventral Capsule/Ventral Striatum for Chronic Treatment-Resistant Depression|journal = Biological Psychiatry|volume = 78|issue = 4|pages = 240–48|date = August 2015|pmid = 25726497|doi = 10.1016/j.biopsych.2014.11.023|s2cid = 22644265}}&lt;/ref&gt;。然而，另一项腹侧胶囊DBS治疗TRD的随机对照研究确实表明，有效DBS(有效率为44%)和假DBS(有效率为0%)的缓解率存在显著差异)&lt;ref name=&quot;:30&quot;&gt;{{cite journal|vauthors = Bergfeld IO, Mantione M, Hoogendoorn ML, Ruhé HG, Notten P, van Laarhoven J, Visser I, Figee M, de Kwaasteniet BP, Horst F, Schene AH, van den Munckhof P, Beute G, Schuurman R, Denys D|display-authors = 6|title = Deep Brain Stimulation of the Ventral Anterior Limb of the Internal Capsule for Treatment-Resistant Depression: A Randomized Clinical Trial|journal = JAMA Psychiatry|volume = 73|issue = 5|pages = 456–64|date = May 2016|pmid = 27049915|doi = 10.1001/jamapsychiatry.2016.0152|doi-access = free}}&lt;/ref&gt;。DBS治疗强迫症疗效显著，重症和难治性患者平均有效率为60%&lt;ref name=&quot;:31&quot;&gt;{{cite journal|vauthors = Alonso P, Cuadras D, Gabriëls L, Denys D, Goodman W, Greenberg BD, Jimenez-Ponce F, Kuhn J, Lenartz D, Mallet L, Nuttin B, Real E, Segalas C, Schuurman R, du Montcel ST, Menchon JM|display-authors = 6|title = Deep Brain Stimulation for Obsessive-Compulsive Disorder: A Meta-Analysis of Treatment Outcome and Predictors of Response|journal = PLOS ONE|volume = 10|issue = 7|pages = e0133591|date = 2015-07-24|pmid = 26208305|pmc = 4514753|doi = 10.1371/journal.pone.0133591|bibcode = 2015PLoSO..1033591A|doi-access = free}}&lt;/ref&gt;。根据这些结果，美国食品和药物管理局(FDA)根据人道主义器械豁免(HDE)批准了DBS治疗顽症，要求只有在有专业资格的医院才能实施该手术。<br /> <br /> <br /> DBS治疗TRD与抗抑郁药一样有效，有良好的反应率和缓解率，但不良反应和安全性必须得到更全面的评估。常见的副作用包括伤口感染、围手术期头痛、情绪恶化/烦躁以及自杀倾向增加&lt;ref name=Moreines&gt;{{cite journal|vauthors = Moreines JL, McClintock SM, Holtzheimer PE|title = Neuropsychologic effects of neuromodulation techniques for treatment-resistant depression: a review|journal = Brain Stimulation|volume = 4|issue = 1|pages = 17–27|date = January 2011|pmid = 21255751|pmc = 3023999|doi = 10.1016/j.brs.2010.01.005}}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === 其他临床应用 ===<br /> DBS对肌张力障碍患者的治疗结果显示，积极效果往往在数周至数月的时间内逐渐显现，至少在某些情况下显示出功能重组的作用&lt;ref name=&quot;:32&quot;&gt;{{cite journal|vauthors = Krauss JK|title = Deep brain stimulation for dystonia in adults. Overview and developments|journal = Stereotactic and Functional Neurosurgery|volume = 78|issue = 3–4|pages = 168–82|year = 2002|pmid = 12652041|doi = 10.1159/000068963|s2cid = 71888143}}&lt;/ref&gt;。该方法已经在对药物有抗药性的癫痫患者身上进行了有效性测试&lt;ref name=&quot;:33&quot;&gt;{{cite journal|vauthors = Wu C, Sharan AD|title = Neurostimulation for the treatment of epilepsy: a review of current surgical interventions|journal = Neuromodulation|volume = 16|issue = 1|pages = 10–24; discussion 24|date = Jan–Feb 2013|pmid = 22947069|doi = 10.1111/j.1525-1403.2012.00501.x|s2cid = 1711587}}&lt;/ref&gt;。DBS可通过程序性或反应性刺激减少或消除癫痫发作。<br /> <br /> <br /> 对精神分裂症患者的鼻中隔区域进行DBS可增强警惕性、合作性和欣快感&lt;ref&gt;{{cite journal|vauthors = Heath RG|title = Pleasure and brain activity in man. Deep and surface electroencephalograms during orgasm|journal = The Journal of Nervous and Mental Disease|volume = 154|issue = 1|pages = 3–18|date = January 1972|pmid = 5007439|doi = 10.1097/00005053-197201000-00002|s2cid = 136706}}&lt;/ref&gt; 。有嗜睡症和复杂部分性癫痫的患者也报告说，自我诱发的间隔核深部脑刺激能产生欣快感和性想法&lt;ref name=&quot;Faria 3&quot; /&gt;。<br /> <br /> <br /> 据报道，通过深度电极对大脑进行电刺激，左侧海马体为3毫安，右侧海马体为1毫安&lt;ref name=&quot;:34&quot;&gt;{{cite journal|vauthors = Surbeck W, Bouthillier A, Nguyen DK|title = Bilateral cortical representation of orgasmic ecstasy localized by depth electrodes|journal = Epilepsy &amp; Behavior Case Reports|volume = 1|pages = 62–65|pmid = 25667829|pmc = 4150648|doi = 10.1016/j.ebcr.2013.03.002|year = 2013}}&lt;/ref&gt;。<br /> <br /> <br /> 2015年，由神经外科医生领导的一组巴西研究人员描述了一种新技术，该技术允许同时植入电极，称为双侧立体定向术。主要的好处是花在手术上的时间更少，准确性更高&lt;ref name=&quot;:35&quot;&gt;{{cite journal|vauthors = Fonoff ET, Azevedo A, Angelos JS, Martinez RC, Navarro J, Reis PR, Sepulveda ME, Cury RG, Ghilardi MG, Teixeira MJ, Lopez WO|title = Simultaneous bilateral stereotactic procedure for deep brain stimulation implants: a significant step for reducing operation time|journal = Journal of Neurosurgery|volume = 125|issue = 1|pages = 85–89|date = July 2016|pmid = 26684776|doi = 10.3171/2015.7.JNS151026|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 2016年，DBS被发现可以改善Rett综合征小鼠模型的学习和记忆&lt;ref name=&quot;:36&quot;&gt;{{cite journal|vauthors = Lu H, Ash RT, He L, Kee SE, Wang W, Yu D, Hao S, Meng X, Ure K, Ito-Ishida A, Tang B, Sun Y, Ji D, Tang J, Arenkiel BR, Smirnakis SM, Zoghbi HY|title = Loss and Gain of MeCP2 Cause Similar Hippocampal Circuit Dysfunction that Is Rescued by Deep Brain Stimulation in a Rett Syndrome Mouse Model|journal = Neuron|volume = 91|issue = 4|pages = 739–47|date = August 2016|pmid = 27499081|pmc = 5019177|doi = 10.1016/j.neuron.2016.07.018}}&lt;/ref&gt;。最近2018年的研究表明，穹穴DBS上调了涉及突触功能、细胞存活和神经发生的基因&lt;ref name=&quot;:37&quot;&gt;{{cite journal|vauthors = Pohodich AE, Yalamanchili H, Raman AT, Wan YW, Gundry M, Hao S, Jin H, Tang J, Liu Z, Zoghbi HY|title = Forniceal deep brain stimulation induces gene expression and splicing changes that promote neurogenesis and plasticity|journal = eLife|volume = 7|date = March 2018|pmid = 29570050|pmc = 5906096|doi = 10.7554/elife.34031}}&lt;/ref&gt;，在解释海马回路功能的恢复方面迈出了一些第一步。<br /> <br /> <br /> == 另见 ==<br /> * 植入大脑 <br /> * 电痉挛疗法 <br /> * 脑电图 <br /> * 神经调节(医学) <br /> * 神经修复 <br /> * 人脑映射组织 <br /> * 响应性神经刺激疗法设备 <br /> <br /> <br /> == 参考文献 ==<br /> {{reflist|32em}}<br /> <br /> <br /> == 延伸阅读 ==<br /> * {{cite journal|vauthors = Appleby BS, Duggan PS, Regenberg A, Rabins PV|s2cid = 22925963|title = Psychiatric and neuropsychiatric adverse events associated with deep brain stimulation: A meta-analysis of ten years' experience|journal = Movement Disorders|volume = 22|issue = 12|pages = 1722–8|date = September 2007|pmid = 17721929|doi = 10.1002/mds.21551}}<br /> * {{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Hurlemann R, Coenen VA|title = Deep brain stimulation of the human reward system for major depression--rationale, outcomes and outlook|journal = Neuropsychopharmacology|volume = 39|issue = 6|pages = 1303–14|date = May 2014|pmid = 24513970|pmc = 3988559|doi = 10.1038/npp.2014.28}}<br /> * {{cite journal|vauthors = Diamond A, Shahed J, Azher S, Dat-Vuong K, Jankovic J|s2cid = 29677149|title = Globus pallidus deep brain stimulation in dystonia|journal = Movement Disorders|volume = 21|issue = 5|pages = 692–5|date = May 2006|pmid = 16342255|doi = 10.1002/mds.20767}}<br /> * {{cite book|vauthors = Richter EO, Lozano AM |chapter=Deep Brain Stimulation for Parkinson's Disease in Movement Disorders|veditors = Markov M, Rosch PJ |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York, N.Y |year=2004 |pages=265–76 |isbn=978-0-8247-4700-8}}<br /> <br /> <br /> == 外部链接 ==<br /> * 视频： [https://www.youtube.com/watch?v=KDjWdtDyz5I 脑深部电刺激治疗帕金森氏症]<br /> * 视频：[https://www.youtube.com/watch?v=9phXvB077Dw 脑深部电刺激治疗帕金森氏症]<br /> * [http://www.madinamerica.com/2015/09/adverse-effects-perils-deep-brain-stimulation-depression/ 脑深部电刺激治疗抑郁症的风险]<br /> * [https://www.mountsinai.org/locations/center-neuromodulation/what-is/dbs/info 脑深部电刺激治疗运动障碍、强迫症、抽动秽语综合症或抑郁症中心]<br /> * [https://www.mountsinai.org/care/behavioral-health/services/ocd-tics/dbs 脑深部电刺激治疗强迫症中心]<br /> <br /> <br /> ==编者推荐==<br /> <br /> <br /> <br /> <br /> <br /> ----<br /> 本中文词条神经动力学读书会词条梳理志愿者苏苏Anny翻译审校，[[用户:薄荷|薄荷]]编辑，如有问题，欢迎在讨论页面留言。<br /> <br /> <br /> <br /> <br /> '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''<br /> <br /> <br /> [[Category:电子疗法]]<br /> [[Category:医疗设备]]<br /> [[Category:神经内科手术]]<br /> [[Category:神经修复]]<br /> [[Category:神经外科]]<br /> [[Category:神经技术]]<br /> [[Category:神经图雷特氏综合症]]</div>

薄荷 https://wiki.swarma.org/index.php?title=%E6%B7%B1%E9%83%A8%E8%84%91%E5%88%BA%E6%BF%80&diff=33339 2022-08-14T14:14:39Z

<p>薄荷：</p> <hr /> <div><br /> '''脑深部电刺激 Deep brain stimulation''' ('''DBS''')是神经外科手术中的操作之一，包括放置一种叫做神经刺激器的医疗设备，通过植入的电极将电脉冲发送到大脑中的特定目标(脑核) ，治疗包括帕金森病、原发性震颤、肌张力障碍&lt;ref name=Kringelbach&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Owen SL, Aziz TZ|title = Translational principles of deep brain stimulation|journal = Nature Reviews. Neuroscience|volume = 8|issue = 8 |pages = 623–35 |date = August 2007|pmid = 17637800|doi = 10.1038/nrn2196|s2cid = 147427108}}&lt;/ref&gt;和其他疾病，如强迫症(OCD)和癫痫，引起的运动障碍。虽然其基本原理和机制尚不完全清楚，DBS 是一种可控的直接改变大脑活动的方式&lt;ref name=Hammond&gt;{{cite journal|vauthors = Hammond C, Ammari R, Bioulac B, Garcia L|s2cid = 14905206|title = Latest view on the mechanism of action of deep brain stimulation|journal = Movement Disorders|volume = 23|issue = 15|pages = 2111–21|date = November 2008|pmid = 18785230|doi = 10.1002/mds.22120|url = https://www.hal.inserm.fr/inserm-02950812/file/hammond%20mov%20disord-2.Envoy%C3%A902.01.08.pdf}}&lt;/ref&gt;&lt;ref name=garcia&gt;{{cite journal|vauthors = García MR, Pearlmutter BA, Wellstead PE, Middleton RH|title = A slow axon antidromic blockade hypothesis for tremor reduction via deep brain stimulation|journal = PLOS ONE|volume = 8|issue = 9|pages = e73456|year = 2013|pmid = 24066049|pmc = 3774723|doi = 10.1371/journal.pone.0073456|bibcode = 2013PLoSO...873456G|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 1997年，DBS 已经被美国食品和药物管理局批准用于治疗原发性震颤(PD)和帕金森病&lt;ref name=&quot;:0&quot;&gt;{{Cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm451152.htm|title= FDA approves brain implant to help reduce Parkinson's disease and essential tremor symptoms|website=FDA|access-date=May 23, 2016|quote=The first device, Medtronic’s Activa Deep Brain Stimulation Therapy System, was approved in 1997 for tremor associated with essential tremor and Parkinson’s disease.}}&lt;/ref&gt;。2003年被批准,以“脑起搏器”的方法用于肌张力障碍&lt;ref name=&quot;:1&quot;&gt;[http://knbc-tvhealth.ip2m.com/index.cfm?pt=itemDetail&amp;item_id=97349&amp;site_cat_id=470 'Brain pacemaker' treats dystonia.] KNBC TV, April 22, 2003. Retrieved October 18, 2006.&lt;/ref&gt; ，2009年被批准用于强迫症，2018年用于癫痫&lt;ref name=&quot;:2&quot;&gt;{{Cite web|url=http://newsroom.medtronic.com/phoenix.zhtml?c=251324&amp;p=irol-newsArticle&amp;ID=2345882|title= Medtronic Receives FDA Approval for Deep Brain Stimulation Therapy for Medically Refractory Epilepsy|website=newsroom.medtronic.com|access-date=2018-12-18}}&lt;/ref&gt;&lt;ref name=&quot;:3&quot;&gt;{{cite web|url=https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm149529.htm|title=FDA Approves Humanitarian Device Exemption for Deep Brain Stimulator for Severe Obsessive-Compulsive Disorder|work=FDA}}&lt;/ref&gt;&lt;ref name=gildenberg&gt;{{cite journal|vauthors = Gildenberg PL|title = Evolution of neuromodulation|journal = Stereotactic and Functional Neurosurgery|volume = 83|issue = 2–3|pages = 71–79|year = 2005|pmid = 16006778|doi = 10.1159/000086865|s2cid = 20234898}}&lt;/ref&gt;。DBS 已经在临床试验中被研究用作各种情感障碍(包括重度抑郁症的慢性疼痛的潜在治疗方法。这是少数允许[[盲法研究]]的神经外科手术之一&lt;ref name=&quot;Kringelbach&quot; /&gt;。<br /> <br /> <br /> == 医疗用途 ==<br /> [[Image:Parkinson surgery.jpg|thumb|250px|在手术过程中使用立体定向框架插入电极]]<br /> <br /> === 帕金森氏病 ===<br /> DBS用于治疗帕金森病的一些无法用药完全控制的症状&lt;ref name=NINDS/&gt;&lt;ref name=&quot;USDHHS&quot;&gt;U.S. Department of Health and Human Services. [https://www.fda.gov/MedicalDevices/ProductsandMedicalProcedures/DeviceApprovalsandClearances/Recently-ApprovedDevices/ucm083894.htm FDA approves implanted brain stimulator to control tremors.] Retrieved February 10, 2015.&lt;/ref&gt;。通过对丘脑内外侧、内苍白球和丘脑下核(STN)三个靶结构应用高频(&gt; 100 Hz)刺激治疗PD，以模拟病变的临床效果&lt;ref name=&quot;:4&quot;&gt;Koller, W. and Melamed, E., 2007. Parkinson's disease and related disorders. 1st ed. Edinburgh: Elsevier.&lt;/ref&gt;。它适合推荐给药物控制不充分的运动波动和震颤的PD患者，或对药物不耐受的患者，只要他们没有严重的神经精神问题&lt;ref name=&quot;pmid20937936&quot;&gt;{{cite journal |vauthors=Bronstein JM, Tagliati M, Alterman RL, Lozano AM, Volkmann J, Stefani A, Horak FB, Okun MS, Foote KD, Krack P, Pahwa R, Henderson JM, Hariz MI, Bakay RA, Rezai A, Marks WJ, Moro E, Vitek JL, Weaver FM, Gross RE, DeLong MR |title=Deep brain stimulation for Parkinson disease: an expert consensus and review of key issues |journal=Archives of Neurology |volume=68 |issue=2 |page=165 |date=February 2011 |pmid=20937936 |pmc=4523130 |doi=10.1001/archneurol.2010.260 |display-authors=1}}&lt;/ref&gt; 。在帕金森病中，有苍白球内、丘脑、丘脑下核和桥脚核四个脑区使用神经刺激器进行治疗。然而，在常规手术中，大多数DBS手术不是针对苍白球内，就是针对丘脑下核。<br /> * 苍白球内的DBS减少了不可控的震颤运动，称为运动障碍。这使患者能够服用足够数量的药物(特别是左旋多巴)，从而更好地控制症状。<br /> * 丘脑底核深部脑刺激可直接减轻帕金森病症状。这可以减少抗帕金森药物的剂量。<br /> * PPN的DBS可能有助于步态冻结，而丘脑的DBS可能有助于颤抖。这些靶标通常不被使用。<br /> <br /> <br /> 选择正确的 DBS 目标是一个复杂的过程。多种临床特征被用来选择目标，包括识别最棘手的症状、患者目前正在服用的左旋多巴的剂量、当前药物的作用和副作用以及同时出现的问题。例如，丘脑下核 DBS 可能会加重抑郁症，因此对于无法控制的抑郁症患者来说并不是首选。<br /> <br /> <br /> 一般来说，DBS 与运动成绩评定的30-60% 的改善有关&lt;ref name=&quot;Dallapiazza2018&quot;&gt;{{cite book |last1=Dallapiazza |first1=R. F. |last2=Vloo |first2=P. D. |last3=Fomenko |first3=A. |last4=Lee |first4=D. J. |last5=Hamani |first5=C. |last6=Munhoz |first6=R. P. |last7=Hodaie |first7=M. |last8=Lozano |first8=A. M. |last9=Fasano |first9=A. |last10=Kalia |year=2018 |chapter=Considerations for Patient and Target Selection in Deep Brain Stimulation surgery for Parkinson’s disease |editor-last=Stoker |editor-first=T. B. |editor2-last=Greenland |editor2-first=J. C. |title=Parkinson's disease: Pathogenesis and clinical aspects |location=Brisbane |publisher=Codon Publications |isbn=978-0-9944381-6-4 |doi=10.15586/codonpublications.parkinsonsdisease.2018.ch8 |pmid=30702838|s2cid=81155324 }}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === Tourette综合症 ===<br /> DBS已被实验性地用于治疗对常规治疗没有反应的成人严重'''Tourette综合症'''。尽管早期的成功被广泛宣传，DBS治疗图雷特氏症仍然是一个高度实验性的程序，需要更多的研究来确定长期的好处是否大于风险&lt;ref name=&quot;Singer2011&quot;&gt;{{cite book|vauthors = Singer HS|title = Hyperkinetic Movement Disorders|chapter = Tourette syndrome and other tic disorders|journal = Handbook of Clinical Neurology|volume = 100|pages = 641–57|date = March 2005|pmid = 21496613|doi = 10.1016/B978-0-444-52014-2.00046-X|isbn = 9780444520142}} Also see {{cite journal|vauthors = Singer HS|title = Tourette's syndrome: from behaviour to biology|journal = The Lancet. Neurology|volume = 4|issue = 3|pages = 149–59|date = March 2005|pmid = 15721825|doi = 10.1016/S1474-4422(05)01012-4|s2cid = 20181150}}&lt;/ref&gt;&lt;ref name=Robertson2011&gt;{{cite journal|vauthors = Robertson MM|title = Gilles de la Tourette syndrome: the complexities of phenotype and treatment|journal = British Journal of Hospital Medicine|volume = 72|issue = 2|pages = 100–07|date = February 2011|pmid = 21378617|doi = 10.12968/hmed.2011.72.2.100}}&lt;/ref&gt;&lt;ref name=Du2010&gt;{{cite journal|vauthors = Du JC, Chiu TF, Lee KM, Wu HL, Yang YC, Hsu SY, Sun CS, Hwang B, Leckman JF|title = Tourette syndrome in children: an updated review|journal = Pediatrics and Neonatology|volume = 51|issue = 5|pages = 255–64|date = October 2010|pmid = 20951354|doi = 10.1016/S1875-9572(10)60050-2|doi-access = free}}&lt;/ref&gt;&lt;ref name=&quot;:5&quot;&gt;[[Tourette Association of America|Tourette Syndrome Association]]. [https://web.archive.org/web/20051122154536/http://tsa-usa.org/news/DBS-Statement.htm Statement: Deep Brain Stimulation and Tourette Syndrome.] Retrieved November 22, 2005.&lt;/ref&gt; 。该手术耐受性良好，但并发症包括“电池寿命短，停止刺激后症状突然恶化，轻度躁狂或躁狂转化，以及优化刺激参数所需的大量时间和精力”&lt;ref name=Malone&gt;{{cite journal|vauthors = Malone DA, Pandya MM|title = Behavioral neurosurgery|journal = Advances in Neurology|volume = 99|pages = 241–47|year = 2006|pmid = 16536372}}&lt;/ref&gt; 。截至2006年，有5人被报告患有TS;所有人都经历了抽搐的减少和强迫行为的消失&lt;ref name=&quot;Malone&quot; /&gt;。<br /> <br /> <br /> 这种手术具有侵入性，费用昂贵，需要长期的专家护理。考虑到在荷兰进行的这种手术效果较差，重度抽动秽语综合症的益处还不能下结论。抽动秽语综合症在儿童群体中更为常见，成年后趋于缓解，所以一般不推荐在儿童身上使用这种疗法。因为抽动秽语综合症的诊断是基于症状的历史而不是神经活动的分析，所以如何为特定的人应用 DBS 并不总是很清楚。由于担心使用DBS治疗抽动秽语综合症，美国图雷特协会召集了一组专家来制定建议，指导DBS治疗TS的使用和潜在的临床试验&lt;ref name=&quot;:6&quot;&gt;{{cite journal|vauthors = Mink JW, Walkup J, Frey KA, Como P, Cath D, Delong MR, Erenberg G, Jankovic J, Juncos J, Leckman JF, Swerdlow N, Visser-Vandewalle V, Vitek JL|title = Patient selection and assessment recommendations for deep brain stimulation in Tourette syndrome|journal = Movement Disorders|volume = 21|issue = 11|pages = 1831–38|date = November 2006|pmid = 16991144|doi = 10.1002/mds.21039|url = https://deepblue.lib.umich.edu/bitstream/2027.42/55891/1/21039_ftp.pdf|hdl = 2027.42/55891|s2cid = 16353255|hdl-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> Robertson 报告说，截至2011年，DBS 已经在55名成年人身上使用，在当时仍然是一种试验性的治疗方法，并且建议这种手术“应该只由有经验的功能性神经外科医生进行，这些医生所在的中心还有一个专门的图雷特氏综合症诊所”&lt;ref name=&quot;Robertson2011&quot; /&gt; 。根据Malone等人的说法(2006年) ，“只有患有严重的、使人衰弱的和治疗难以治愈的疾病的患者才应该被考虑; 而那些有严重的人格障碍和物质滥用问题的患者应该被排除在外“&quot;&lt;ref name=&quot;Malone&quot; /&gt;。Du 等人(2010)说，“作为一种侵入性治疗，DBS 目前仅适用于严重受影响、治疗难治性 TS 的成年人”&lt;ref name=&quot;Du2010&quot; /&gt; 。Singer (2011年)说，“在确定患者选择标准和仔细控制的临床试验结果之前，建议采取谨慎的方法”&lt;ref name=&quot;Singer2011&quot; /&gt;。Viswanathan等人(2012)表示，DBS 应该用于“严重功能障碍且无法医学治疗”的患者。&lt;ref&gt;{{cite journal|vauthors = Viswanathan A, Jimenez-Shahed J, Baizabal Carvallo JF, Jankovic J|title = Deep brain stimulation for Tourette syndrome: target selection|journal = Stereotactic and Functional Neurosurgery|volume = 90|issue = 4|pages = 213–24|year = 2012|pmid = 22699684|doi = 10.1159/000337776|doi-access = free}}&lt;/ref&gt;<br /> <br /> ==不良反应==<br /> [[File:Mra1.jpg|thumb|left|DBS植入时可出血的动脉供应动脉造影。]]<br /> DBS具有大手术的风险，并发症的发生率与手术团队的经验有关。主要并发症包括出血(1-2%)和感染(3-5%)&lt;ref name=&quot;:7&quot;&gt;{{cite journal|vauthors = Doshi PK|title = Long-term surgical and hardware-related complications of deep brain stimulation|journal = Stereotactic and Functional Neurosurgery|volume = 89|issue = 2|pages = 89–95|date = April 2011|pmid = 21293168|doi = 10.1159/000323372|s2cid = 10553177}}&lt;/ref&gt;。<br /> <br /> <br /> DBS 有可能导致神经精神方面的副作用，包括冷漠、幻觉、性欲亢进、认知功能障碍、抑郁和欣快感。然而，这些影响可能是暂时的，与(1)电极的正确放置，(2)开环VS闭环刺激，意味着持续刺激或人工智能监测传输系统&lt;ref name=&quot;:8&quot;&gt;{{cite journal|authors = Scangos, K.W., Makhoul, G.S., Sugrue, L.P.|title = State-dependent responses to intracranial brain stimulation in a patient with depression|journal = Nat Med|year = 2021|volume = 27|issue = 2|pages = 229–231|doi = 10.1038/s41591-020-01175-8|pmid = 33462446|issn=1078-8956|pmc = 8284979}}&lt;/ref&gt;，以及(3)刺激器的校准有关，因此这些副作用可能是可逆的&lt;ref name=&quot;:9&quot;&gt;{{cite journal|vauthors = Burn DJ, Tröster AI|title = Neuropsychiatric complications of medical and surgical therapies for Parkinson's disease|journal = Journal of Geriatric Psychiatry and Neurology|volume = 17|issue = 3|pages = 172–80|date = September 2004|pmid = 15312281|doi = 10.1177/0891988704267466|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 因为在手术过程中大脑可能会轻微移动，电极可能会从特定位置移位或移位。这可能会导致更深刻的并发症，如个性的改变，但电极错位使用CT扫描相对容易识别。此外，手术并发症也可能发生，如脑出血。手术后，脑组织肿胀、轻度定向障碍和嗜睡均属正常。2-4周后，进行随访，拆除缝合线，打开神经刺激器，并对其进行编程。<br /> <br /> <br /> 游泳技能受损被认为是该手术的一个意外风险;几名帕金森氏症患者在接受脑深部刺激后失去了游泳能力&lt;ref name=&quot;:10&quot;&gt;{{Cite web|url=https://www.medpagetoday.com/geriatrics/parkinsonsdisease/83610|title=Deep Brain Stimulation May Put Parkinson's Patients at Risk for Drowning|date=2019-11-27|website=www.medpagetoday.com|language=en|access-date=2019-12-09}}&lt;/ref&gt;&lt;ref name=&quot;:11&quot;&gt;{{Cite journal|last1=Bangash|first1=Omar K.|last2=Thorburn|first2=Megan|last3=Garcia-Vega|first3=Jimena|last4=Walters|first4=Susan|last5=Stell|first5=Rick|last6=Starkstein|first6=Sergio E.|last7=Lind|first7=Christopher R. P.|date=May 2016|title=Drowning hazard with deep brain stimulation: case report|journal=Journal of Neurosurgery|volume=124|issue=5|pages=1513–16|doi=10.3171/2015.5.JNS15589|issn=1933-0693|pmid=26566200|doi-access=free}}&lt;/ref&gt;。<br /> <br /> <br /> == 机制 ==<br /> DBS 的确切作用机制尚不清楚&lt;ref name=&quot;:12&quot;&gt;{{cite book |author1=Mogilner A.Y. |author2=Benabid A.L. |author3=Rezai A.R. |chapter=Chronic Therapeutic Brain Stimulation: History, Current Clinical Indications, and Future Prospects |editor1=Markov, Marko |editor2=Paul J. Rosch |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York |year=2004 |pages=133–51 |isbn=978-0-8247-4700-8}}&lt;/ref&gt;。各种各样的假说试图解释 DBS 的机制:&lt;ref name=&quot;:13&quot;&gt;{{cite journal|vauthors = McIntyre CC, Thakor NV|title = Uncovering the mechanisms of deep brain stimulation for Parkinson's disease through functional imaging, neural recording, and neural modeling|journal = Critical Reviews in Biomedical Engineering|volume = 30|issue = 4–6|pages = 249–81|year = 2002|pmid = 12739751|doi = 10.1615/critrevbiomedeng.v30.i456.20}}&lt;/ref&gt;&lt;ref name=&quot;:14&quot;&gt;{{cite journal|vauthors = Herrington TM, Cheng JJ, Eskandar EN|title = Mechanisms of deep brain stimulation|journal = Journal of Neurophysiology|volume = 115|issue = 1|pages = 19–38|date = January 2016|pmid = 26510756|pmc = 4760496|doi = 10.1152/jn.00281.2015}}&lt;/ref&gt;<br /> <br /> # 去极化阻滞:电流阻断神经元在电极处或电极附近的输出。<br /> # 突触抑制:通过激活与刺激电极附近的神经元突触连接的轴突末梢，引起神经元输出的间接调节。<br /> # 神经元异常振荡活动的去同步。<br /> # 反向激活激活/阻滞远端神经元或阻滞慢轴突&lt;ref name=&quot;garcia&quot; /&gt;。<br /> <br /> <br /> DBS是对以往苍白球切开术(即苍白球外科消融)或丘脑切开术(即丘脑外科消融)治疗的一种进步&lt;ref name=&quot;:15&quot;&gt;{{cite journal|vauthors = Machado A, Rezai AR, Kopell BH, Gross RE, Sharan AD, Benabid AL|s2cid = 18194178|title = Deep brain stimulation for Parkinson's disease: surgical technique and perioperative management|journal = Movement Disorders|volume = 21 Suppl 14|issue = Suppl 14|pages = S247–58|date = June 2006|pmid = 16810722|doi = 10.1002/mds.20959}}&lt;/ref&gt;。取而代之的是，将一个带有多个电极的细导线植入苍白球、腹外侧核或丘脑下核，电脉冲用于治疗。植入物的导线延伸到胸部皮肤下的神经刺激器。<br /> <br /> <br /> 它对脑细胞和神经递质的直接影响目前还在争论中，但通过向大脑的特定区域发送高频电脉冲，它可以减轻症状&lt;ref name=&quot;:16&quot;&gt;{{cite journal|vauthors = Moro E, Lang AE|title = Criteria for deep-brain stimulation in Parkinson's disease: review and analysis|journal = Expert Review of Neurotherapeutics|volume = 6|issue = 11|pages = 1695–705|date = November 2006|pmid = 17144783|doi = 10.1586/14737175.6.11.1695|s2cid = 20857769}}&lt;/ref&gt;，直接减少帕金森病药物引起的副作用&lt;ref name=&quot;:17&quot;&gt;{{cite journal|vauthors = Apetauerova D, Ryan RK, Ro SI, Arle J, Shils J, Papavassiliou E, Tarsy D|title = End of day dyskinesia in advanced Parkinson's disease can be eliminated by bilateral subthalamic nucleus or globus pallidus deep brain stimulation|journal = Movement Disorders|volume = 21|issue = 8|pages = 1277–79|date = August 2006|pmid = 16637040|doi = 10.1002/mds.20896|s2cid = 42122286}}&lt;/ref&gt;，使药物减少，或使药物治疗方案更容易忍受。<br /> <br /> <br /> == 组成和布局 ==<br /> DBS系统由三部分组成:植入脉冲发生器(IPG)、引线和扩展部分。IPG是一种由电池供电的神经刺激器，包裹在钛外壳中，它向大脑发送电脉冲，干扰目标部位的神经活动。铅是用聚氨酯绝缘的线圈，有四个铂铱电极，被放置在大脑的一个或两个不同的核中。引线通过一根延伸线与IPG连接，这是一根绝缘电线，在皮肤下面，从头部、颈部侧面、耳朵后面，到IPG, IPG位于锁骨下皮下，在某些情况下，是腹部&lt;ref name=NINDS&gt;[[National Institute of Neurological Disorders and Stroke]]. [http://www.ninds.nih.gov/disorders/deep_brain_stimulation/deep_brain_stimulation.htm Deep brain stimulation for Parkinson's disease information page] Retrieved November 23, 2006.&lt;/ref&gt;。IPG可以由神经科医生、护士或训练有素的技术人员校准，以优化症状抑制和控制副作用&lt;ref name=Volkmann&gt;{{cite journal|vauthors = Volkmann J, Herzog J, Kopper F, Deuschl G|title = Introduction to the programming of deep brain stimulators|journal = Movement Disorders|volume = 17 Suppl 3|pages = S181–87|year = 2002|pmid = 11948775|doi = 10.1002/mds.10162|s2cid = 21988668}}&lt;/ref&gt;。<br /> <br /> <br /> 根据需要治疗的症状类型，将DBS导联植入大脑。对于非帕金森特发性震颤，导线放置在丘脑腹中间核或内嵌带&lt;ref name=&quot;:18&quot;&gt;{{cite journal|vauthors = Lee JY, Deogaonkar M, Rezai A|title = Deep brain stimulation of globus pallidus internus for dystonia|journal = Parkinsonism &amp; Related Disorders|volume = 13|issue = 5|pages = 261–65|date = July 2007|pmid = 17081796|doi = 10.1016/j.parkreldis.2006.07.020}}&lt;/ref&gt;; 对于肌张力障碍和与PD相关的症状(强直、运动迟缓/运动不全和震颤，导线可置于苍白球内或丘脑下核；对强迫症和抑郁症的作用是伏隔核；持续疼痛至丘脑后区或导水管周围灰质区;以及丘脑前核的癫痫治疗&lt;ref name=&quot;:19&quot;&gt;[http://www.surgeryencyclopedia.com/Ce-Fi/Deep-Brain-Stimulation.html Deep brain stimulation.] Surgery Encyclopedia. Retrieved January 25, 2007.&lt;/ref&gt;。<br /> <br /> <br /> 这三种成分都要通过手术植入体内。铅植入可在局部麻醉或全身麻醉下进行(“睡眠DBS”)，如肌张力障碍。在颅骨上钻一个直径约14毫米的孔，使用基于框架或无框架的立体定向方式将探针电极立体定向插入&lt;ref name=&quot;:20&quot;&gt;{{cite journal|vauthors = Owen CM, Lindsey ME|title = Frame-based stereotaxy in a frameless era: current capabilities, relative role, and the positive- and negative predictive values of blood through the needle.|journal = Journal of Neuro-Oncology|volume = 93|issue = 1|pages = 139–49|date = May 2009|pmid = 19430891|doi = 10.1007/s11060-009-9871-y| doi-access = free}}&lt;/ref&gt;。在局部麻醉的清醒过程中，来自人的反馈被用来确定永久电极的最佳放置位置。在睡眠过程中，利用术中MRI引导对脑组织和设备进行直接可视化&lt;ref name=&quot;:21&quot;&gt;{{cite journal|vauthors = Starr PA, Martin AJ, Ostrem JL, Talke P, Levesque N, Larson PS|title = Subthalamic nucleus deep brain stimulator placement using high-field interventional magnetic resonance imaging and a skull-mounted aiming device: technique and application accuracy|journal = Journal of Neurosurgery|volume = 112|issue = 3|pages = 479–90|date = March 2010|pmid = 19681683|pmc = 2866526|doi = 10.3171/2009.6.JNS081161}}&lt;/ref&gt;。IPG和延伸导线的安装是在全身麻醉下进行的&lt;ref name=&quot;:22&quot;&gt;[http://www.neurosurgery.pitt.edu/imageguided/movement/stimulation.html Deep Brain Stimulation], Department of Neurological Surgery, University of Pittsburgh. Retrieved May 13, 2008.&lt;/ref&gt;。刺激右脑来解决身体左侧的症状，反之亦然。<br /> <br /> &lt;br&gt;<br /> <br /> == 研究 ==<br /> === 慢性痛 ===<br /> 刺激导水管周围灰质和脑室周围灰质来治疗痛觉性疼痛，刺激内囊、腹侧后外侧核和腹侧后内侧核来治疗神经性疼痛，对一些人产生了令人印象深刻的结果，但结果各不相同。一项&lt;ref name = Young&gt;{{cite journal|authors = Young RF &amp; Brechner T|title = Electrical stimulation of the brain for relief of intractable pain due to cancer|journal = Cancer|volume = 57|year = 1986|issue = 6|pages = 1266–72|pmid = 3484665|doi=10.1002/1097-0142(19860315)57:6&lt;1266::aid-cncr2820570634&gt;3.0.co;2-q| doi-access = free}}&lt;/ref&gt;针对17名癌症顽固性疼痛患者的研究发现，其中13人几乎没有疼痛，只有4人在干预后出院时需要服用阿片类镇痛药。大多数人最终诉诸于阿片类药物，通常是在生命的最后几周&lt;ref name=&quot;Johnson&quot;&gt;{{cite book|authors = Johnson MI, Oxberry SG &amp; Robb K|chapter = Stimulation-induced analgesia|pages = 235–50|editor = Sykes N, Bennett MI &amp; Yuan C-S|title = Clinical pain management: Cancer pain|edition = 2nd|isbn = 978-0-340-94007-5|publisher = Hodder Arnold|location = London|year = 2008}}&lt;/ref&gt;。DBS也被用于治疗幻肢疼痛&lt;ref name=&quot;:23&quot;&gt;{{cite journal|vauthors = Kringelbach ML, Jenkinson N, Green AL, Owen SL, Hansen PC, Cornelissen PL, Holliday IE, Stein J, Aziz TZ|title = Deep brain stimulation for chronic pain investigated with magnetoencephalography|journal = NeuroReport|volume = 18|issue = 3|pages = 223–28|date = February 2007|pmid = 17314661|doi = 10.1097/wnr.0b013e328010dc3d|citeseerx = 10.1.1.511.2667|s2cid = 7091307}}&lt;/ref&gt;。<br /> <br /> <br /> === 重度抑郁症和强迫症 ===<br /> [[File:X-ray of deep brain stimulation in OCD, L.png|thumb|头部侧面 X 光片：强迫症(OCD) 中的深部脑刺激。42岁男性，2013年手术。]]<br /> <br /> DBS已在少量临床试验中用于治疗严重难治性抑郁症(TRD)患者&lt;ref name=&quot;Anderson&quot;&gt;{{cite journal|vauthors = Anderson RJ, Frye MA, Abulseoud OA, Lee KH, McGillivray JA, Berk M, Tye SJ|title = Deep brain stimulation for treatment-resistant depression: efficacy, safety and mechanisms of action|journal = Neuroscience and Biobehavioral Reviews|volume = 36|issue = 8|pages = 1920–33|date = September 2012|pmid = 22721950|doi = 10.1016/j.neubiorev.2012.06.001|s2cid = 207089716}}&lt;/ref&gt;。DBS治疗TRD的神经解剖学靶点包括膝下扣带回、后直回&lt;ref name=&quot;:24&quot;&gt;{{cite journal|vauthors = Accolla EA, Aust S, Merkl A, Schneider GH, Kühn AA, Bajbouj M, Draganski B|title = Deep brain stimulation of the posterior gyrus rectus region for treatment resistant depression|journal = Journal of Affective Disorders|volume = 194|pages = 33–37|date = April 2016|pmid = 26802505|doi = 10.1016/j.jad.2016.01.022|doi-access = free}}&lt;/ref&gt;、伏隔核&lt;ref name=&quot;:25&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Cohen MX, Frick C, Kosel M, Brodesser D, Axmacher N, Joe AY, Kreft M, Lenartz D, Sturm V|title = Deep brain stimulation to reward circuitry alleviates anhedonia in refractory major depression|journal = Neuropsychopharmacology|volume = 33|issue = 2|pages = 368–77|date = January 2008|pmid = 17429407|doi = 10.1038/sj.npp.1301408|doi-access = free}}&lt;/ref&gt;、腹侧囊/腹侧纹状体、丘脑下蒂和外侧缰状核&lt;ref name=&quot;Anderson&quot; /&gt; 。最近提出的DBS干预抑郁症的靶点是内侧前脑束的上外侧支;它的刺激导致惊人的快速抗抑郁作用&lt;ref name=&quot;:26&quot;&gt;{{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Mädler B, Coenen VA|title = Rapid effects of deep brain stimulation for treatment-resistant major depression|journal = Biological Psychiatry|volume = 73|issue = 12|pages = 1204–12|date = June 2013|pmid = 23562618|doi = 10.1016/j.biopsych.2013.01.034|s2cid = 6374368}}&lt;/ref&gt;。<br /> <br /> <br /> DBS治疗TRD的早期试验数量较少，目前限制了最佳神经解剖学靶点的选择&lt;ref name=&quot;Anderson&quot; /&gt; 。证据不足以支持DBS作为抑郁症的治疗方式;然而，该手术可能是未来一种有效的治疗方式&lt;ref name=&quot;:27&quot;&gt;{{cite journal |last1=Murphy |first1=Destiny N. |last2=Boggio |first2=Paulo |last3=Fregni |first3=Felipe |title=Transcranial direct current stimulation as a therapeutic tool for the treatment of major depression: insights from past and recent clinical studies |journal=Curr Opin Psychiatry |year=2009 |volume=22 |issue=3 |pages=306–11 |doi=10.1097/YCO.0b013e32832a133f |pmid=19339889 |s2cid=11392351}}&lt;/ref&gt;。事实上，神经外科文献中已经记录了有益的结果，包括一些为重度抑郁的人提供便携式刺激器进行自我治疗的例子&lt;ref name=&quot;Delgado 1986&quot;&gt;{{cite book|last=Delgado|first=Jose|title=Physical Control of the Mind: Toward a Psychocivilized Society|year=1986|publisher=Harper and Row|location=New York |isbn=0-06-131914-7}}&lt;/ref&gt;&lt;ref name=&quot;Faria 3&quot;&gt;{{cite journal|vauthors = Faria MA|title = Violence, mental illness, and the brain – A brief history of psychosurgery: Part 3 – From deep brain stimulation to amygdalotomy for violent behavior, seizures, and pathological aggression in humans|journal = Surgical Neurology International|volume = 4|issue = 1|pages = 91|year = 2013|pmid = 23956934|pmc = 3740620|doi = 10.4103/2152-7806.115162}}&lt;/ref&gt;&lt;ref name=&quot;:28&quot;&gt;{{cite journal|vauthors = Robison RA, Taghva A, Liu CY, Apuzzo ML|title = Surgery of the mind, mood, and conscious state: an idea in evolution|journal = World Neurosurgery|volume = 77|issue = 5–6|pages = 662–86|year = 2012|pmid = 22446082|doi = 10.1016/j.wneu.2012.03.005}}&lt;/ref&gt;。<br /> <br /> <br /> 一项针对TRD和OCD的系统回顾发现了23例DBS, 9例为OCD, 7例为TRD, 1例为两者。大约一半的患者确实表现出了显著的改善，而且考虑到精神病患者的年龄相对于运动障碍患者的年龄，不良事件通常微不足道&lt;ref name=Lakhan&gt;{{cite journal|vauthors = Lakhan SE, Callaway E|title = Deep brain stimulation for obsessive-compulsive disorder and treatment-resistant depression: systematic review|journal = BMC Research Notes|volume = 3|issue = 1|pages = 60|date = March 2010|pmid = 20202203|pmc = 2838907|doi = 10.1186/1756-0500-3-60}}&lt;/ref&gt;。在第一个随机对照研究中，DBS用于治疗以腹侧囊/腹侧纹状体区域为靶点的TRD，在16周的研究结束时，active组和sham组之间的缓解率没有显著差异&lt;ref name=&quot;:29&quot;&gt;{{cite journal|vauthors = Dougherty DD, Rezai AR, Carpenter LL, Howland RH, Bhati MT, O'Reardon JP, Eskandar EN, Baltuch GH, Machado AD, Kondziolka D, Cusin C, Evans KC, Price LH, Jacobs K, Pandya M, Denko T, Tyrka AR, Brelje T, Deckersbach T, Kubu C, Malone DA|title = A Randomized Sham-Controlled Trial of Deep Brain Stimulation of the Ventral Capsule/Ventral Striatum for Chronic Treatment-Resistant Depression|journal = Biological Psychiatry|volume = 78|issue = 4|pages = 240–48|date = August 2015|pmid = 25726497|doi = 10.1016/j.biopsych.2014.11.023|s2cid = 22644265}}&lt;/ref&gt;。然而，另一项腹侧胶囊DBS治疗TRD的随机对照研究确实表明，有效DBS(有效率为44%)和假DBS(有效率为0%)的缓解率存在显著差异)&lt;ref name=&quot;:30&quot;&gt;{{cite journal|vauthors = Bergfeld IO, Mantione M, Hoogendoorn ML, Ruhé HG, Notten P, van Laarhoven J, Visser I, Figee M, de Kwaasteniet BP, Horst F, Schene AH, van den Munckhof P, Beute G, Schuurman R, Denys D|display-authors = 6|title = Deep Brain Stimulation of the Ventral Anterior Limb of the Internal Capsule for Treatment-Resistant Depression: A Randomized Clinical Trial|journal = JAMA Psychiatry|volume = 73|issue = 5|pages = 456–64|date = May 2016|pmid = 27049915|doi = 10.1001/jamapsychiatry.2016.0152|doi-access = free}}&lt;/ref&gt;。DBS治疗强迫症疗效显著，重症和难治性患者平均有效率为60%&lt;ref name=&quot;:31&quot;&gt;{{cite journal|vauthors = Alonso P, Cuadras D, Gabriëls L, Denys D, Goodman W, Greenberg BD, Jimenez-Ponce F, Kuhn J, Lenartz D, Mallet L, Nuttin B, Real E, Segalas C, Schuurman R, du Montcel ST, Menchon JM|display-authors = 6|title = Deep Brain Stimulation for Obsessive-Compulsive Disorder: A Meta-Analysis of Treatment Outcome and Predictors of Response|journal = PLOS ONE|volume = 10|issue = 7|pages = e0133591|date = 2015-07-24|pmid = 26208305|pmc = 4514753|doi = 10.1371/journal.pone.0133591|bibcode = 2015PLoSO..1033591A|doi-access = free}}&lt;/ref&gt;。根据这些结果，美国食品和药物管理局(FDA)根据人道主义器械豁免(HDE)批准了DBS治疗顽症，要求只有在有专业资格的医院才能实施该手术。<br /> <br /> <br /> DBS治疗TRD与抗抑郁药一样有效，有良好的反应率和缓解率，但不良反应和安全性必须得到更全面的评估。常见的副作用包括伤口感染、围手术期头痛、情绪恶化/烦躁以及自杀倾向增加&lt;ref name=Moreines&gt;{{cite journal|vauthors = Moreines JL, McClintock SM, Holtzheimer PE|title = Neuropsychologic effects of neuromodulation techniques for treatment-resistant depression: a review|journal = Brain Stimulation|volume = 4|issue = 1|pages = 17–27|date = January 2011|pmid = 21255751|pmc = 3023999|doi = 10.1016/j.brs.2010.01.005}}&lt;/ref&gt;。<br /> <br /> &lt;br&gt;<br /> <br /> === 其他临床应用 ===<br /> DBS对肌张力障碍患者的治疗结果显示，积极效果往往在数周至数月的时间内逐渐显现，至少在某些情况下显示出功能重组的作用&lt;ref name=&quot;:32&quot;&gt;{{cite journal|vauthors = Krauss JK|title = Deep brain stimulation for dystonia in adults. Overview and developments|journal = Stereotactic and Functional Neurosurgery|volume = 78|issue = 3–4|pages = 168–82|year = 2002|pmid = 12652041|doi = 10.1159/000068963|s2cid = 71888143}}&lt;/ref&gt;。该方法已经在对药物有抗药性的癫痫患者身上进行了有效性测试&lt;ref name=&quot;:33&quot;&gt;{{cite journal|vauthors = Wu C, Sharan AD|title = Neurostimulation for the treatment of epilepsy: a review of current surgical interventions|journal = Neuromodulation|volume = 16|issue = 1|pages = 10–24; discussion 24|date = Jan–Feb 2013|pmid = 22947069|doi = 10.1111/j.1525-1403.2012.00501.x|s2cid = 1711587}}&lt;/ref&gt;。DBS可通过程序性或反应性刺激减少或消除癫痫发作。<br /> <br /> <br /> 对精神分裂症患者的鼻中隔区域进行DBS可增强警惕性、合作性和欣快感&lt;ref&gt;{{cite journal|vauthors = Heath RG|title = Pleasure and brain activity in man. Deep and surface electroencephalograms during orgasm|journal = The Journal of Nervous and Mental Disease|volume = 154|issue = 1|pages = 3–18|date = January 1972|pmid = 5007439|doi = 10.1097/00005053-197201000-00002|s2cid = 136706}}&lt;/ref&gt; 。有嗜睡症和复杂部分性癫痫的患者也报告说，自我诱发的间隔核深部脑刺激能产生欣快感和性想法&lt;ref name=&quot;Faria 3&quot; /&gt;。<br /> <br /> <br /> 据报道，通过深度电极对大脑进行电刺激，左侧海马体为3毫安，右侧海马体为1毫安&lt;ref name=&quot;:34&quot;&gt;{{cite journal|vauthors = Surbeck W, Bouthillier A, Nguyen DK|title = Bilateral cortical representation of orgasmic ecstasy localized by depth electrodes|journal = Epilepsy &amp; Behavior Case Reports|volume = 1|pages = 62–65|pmid = 25667829|pmc = 4150648|doi = 10.1016/j.ebcr.2013.03.002|year = 2013}}&lt;/ref&gt;。<br /> <br /> <br /> 2015年，由神经外科医生领导的一组巴西研究人员描述了一种新技术，该技术允许同时植入电极，称为双侧立体定向术。主要的好处是花在手术上的时间更少，准确性更高&lt;ref name=&quot;:35&quot;&gt;{{cite journal|vauthors = Fonoff ET, Azevedo A, Angelos JS, Martinez RC, Navarro J, Reis PR, Sepulveda ME, Cury RG, Ghilardi MG, Teixeira MJ, Lopez WO|title = Simultaneous bilateral stereotactic procedure for deep brain stimulation implants: a significant step for reducing operation time|journal = Journal of Neurosurgery|volume = 125|issue = 1|pages = 85–89|date = July 2016|pmid = 26684776|doi = 10.3171/2015.7.JNS151026|doi-access = free}}&lt;/ref&gt;。<br /> <br /> <br /> 2016年，DBS被发现可以改善Rett综合征小鼠模型的学习和记忆&lt;ref name=&quot;:36&quot;&gt;{{cite journal|vauthors = Lu H, Ash RT, He L, Kee SE, Wang W, Yu D, Hao S, Meng X, Ure K, Ito-Ishida A, Tang B, Sun Y, Ji D, Tang J, Arenkiel BR, Smirnakis SM, Zoghbi HY|title = Loss and Gain of MeCP2 Cause Similar Hippocampal Circuit Dysfunction that Is Rescued by Deep Brain Stimulation in a Rett Syndrome Mouse Model|journal = Neuron|volume = 91|issue = 4|pages = 739–47|date = August 2016|pmid = 27499081|pmc = 5019177|doi = 10.1016/j.neuron.2016.07.018}}&lt;/ref&gt;。最近2018年的研究表明，穹穴DBS上调了涉及突触功能、细胞存活和神经发生的基因&lt;ref name=&quot;:37&quot;&gt;{{cite journal|vauthors = Pohodich AE, Yalamanchili H, Raman AT, Wan YW, Gundry M, Hao S, Jin H, Tang J, Liu Z, Zoghbi HY|title = Forniceal deep brain stimulation induces gene expression and splicing changes that promote neurogenesis and plasticity|journal = eLife|volume = 7|date = March 2018|pmid = 29570050|pmc = 5906096|doi = 10.7554/elife.34031}}&lt;/ref&gt;，在解释海马回路功能的恢复方面迈出了一些第一步。<br /> <br /> <br /> == 另见 ==<br /> * 植入大脑 <br /> * 电痉挛疗法 <br /> * 脑电图 <br /> * 神经调节(医学) <br /> * 神经修复 <br /> * 人脑映射组织 <br /> * 响应性神经刺激疗法设备 <br /> <br /> <br /> == 参考文献 ==<br /> {{reflist|32em}}<br /> <br /> <br /> == 延伸阅读 ==<br /> * {{cite journal|vauthors = Appleby BS, Duggan PS, Regenberg A, Rabins PV|s2cid = 22925963|title = Psychiatric and neuropsychiatric adverse events associated with deep brain stimulation: A meta-analysis of ten years' experience|journal = Movement Disorders|volume = 22|issue = 12|pages = 1722–8|date = September 2007|pmid = 17721929|doi = 10.1002/mds.21551}}<br /> * {{cite journal|vauthors = Schlaepfer TE, Bewernick BH, Kayser S, Hurlemann R, Coenen VA|title = Deep brain stimulation of the human reward system for major depression--rationale, outcomes and outlook|journal = Neuropsychopharmacology|volume = 39|issue = 6|pages = 1303–14|date = May 2014|pmid = 24513970|pmc = 3988559|doi = 10.1038/npp.2014.28}}<br /> * {{cite journal|vauthors = Diamond A, Shahed J, Azher S, Dat-Vuong K, Jankovic J|s2cid = 29677149|title = Globus pallidus deep brain stimulation in dystonia|journal = Movement Disorders|volume = 21|issue = 5|pages = 692–5|date = May 2006|pmid = 16342255|doi = 10.1002/mds.20767}}<br /> * {{cite book|vauthors = Richter EO, Lozano AM |chapter=Deep Brain Stimulation for Parkinson's Disease in Movement Disorders|veditors = Markov M, Rosch PJ |title=Bioelectromagnetic medicine |publisher=Marcel Dekker |location=New York, N.Y |year=2004 |pages=265–76 |isbn=978-0-8247-4700-8}}<br /> <br /> <br /> == 外部链接 ==<br /> * 视频： [https://www.youtube.com/watch?v=KDjWdtDyz5I 脑深部电刺激治疗帕金森氏症]<br /> * 视频：[https://www.youtube.com/watch?v=9phXvB077Dw 脑深部电刺激治疗帕金森氏症]<br /> * [http://www.madinamerica.com/2015/09/adverse-effects-perils-deep-brain-stimulation-depression/ 脑深部电刺激治疗抑郁症的风险]<br /> * [https://www.mountsinai.org/locations/center-neuromodulation/what-is/dbs/info 脑深部电刺激治疗运动障碍、强迫症、抽动秽语综合症或抑郁症中心]<br /> * [https://www.mountsinai.org/care/behavioral-health/services/ocd-tics/dbs 脑深部电刺激治疗强迫症中心]<br /> <br /> <br /> ==编者推荐==<br /> <br /> <br /> <br /> <br /> <br /> ----<br /> 本中文词条神经动力学读书会词条梳理志愿者苏苏Anny翻译审校，[[用户:薄荷|薄荷]]编辑，如有问题，欢迎在讨论页面留言。<br /> <br /> <br /> <br /> <br /> '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''<br /> <br /> <br /> [[Category:电子疗法]]<br /> [[Category:医疗设备]]<br /> [[Category:神经内科手术]]<br /> [[Category:神经修复]]<br /> [[Category:神经外科]]<br /> [[Category:神经技术]]<br /> [[Category:神经图雷特氏综合症]]</div>

薄荷