因果表征学习：问题，方法和应用 - 版本历史

Gyt666：/* 目前的难点和将来的重点 */

2024-05-21T03:28:58Z

目前的难点和将来的重点

薄荷：/* 适应性强化学习 */

2022-09-14T14:14:31Z

适应性强化学习

薄荷：/* 适应性强化学习 */

2022-09-14T14:14:00Z

适应性强化学习

薄荷：/* 迁移学习 */

2022-09-14T14:12:44Z

迁移学习

薄荷：/* 分布迁移情形 */

2022-09-14T14:10:44Z

分布迁移情形

薄荷：/* 分布迁移情形 */

2022-09-14T14:09:53Z

分布迁移情形

薄荷：/* 分布迁移情形 */

2022-09-14T14:06:57Z

分布迁移情形

薄荷：/* 分布迁移情形 */

2022-09-14T14:05:52Z

分布迁移情形

薄荷：/* 数据分布变化为时间序列因果表征学习带来的好处 */

2022-09-14T14:01:23Z

数据分布变化为时间序列因果表征学习带来的好处

薄荷：/* 数据分布变化为时间序列因果表征学习带来的好处 */

2022-09-14T14:01:06Z

数据分布变化为时间序列因果表征学习带来的好处

@@ 第301行： / 第301行： @@
 <br>
 ==参考文献==
 * LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436-444.

@@ 第236行： / 第236行： @@
 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。
-[[File:图结构.png|300px|left|thumb]]
+[[File:图结构.png|200px|left|thumb]]
 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。

@@ 第236行： / 第236行： @@
 假设我们有来自多个领域的数据，包括高维图像序列、动作和奖励，并且不同的领域可能有不同的环境，比如重力和图像上所加噪声水平的变化。AdaRL的基本思想是我们利用简约的图表示（parsimonious graphical representation）来表征系统中变量之间的结构关系，包括不同维度的状态s、以及奖励变量r、动作变量a、以及感知图像o之间的结构。此外，与学习高维输入上的分布偏移的经典方法不同，由于图分解，我们引入了低维向量 θ 以紧凑的方式表征特定领域的信息。特别地，θo 用于表征观察函数的变化，θs 用于转换动态的变化，θr 用于奖励函数的变化。在这个例子中，域在重力和所加白噪声方面是不同的，因此我们可以使用一个二维向量来表征这些变化，其中一维用于重力，另一维用于不同的噪声水平。请注意，这里我们只观察图像序列 ot、奖励 rt 和动作 at，所有其他部分都是根据数据估计的，包括潜在状态 st、状态转移函数、变化因子 θ 以及变量之间的图结构。
+[[File:图结构.png|300px|left|thumb]]
 我们可以看到，图表示提供了一种紧凑的方式来编码变化的内容和位置（what and where the changes ae)。具体来说，首先从图结构中，我们可以很直观地看出动作预测需要哪些维度的状态。在这个例子中，策略优化只需要 s1 和 s3，而不需要 s2，因为它不会影响未来的奖励。此外，我们从图表示里可以快速知道变化在哪里，并且知道哪些变化需要适应。在这个例子中，只有 θs 捕捉到的重力变化和 θr 捕捉到的可能的奖励变化需要适应，但我们不需要适应 θo 捕捉到的加在图像上的噪声的变化，因为它不会影响未来的奖励。另外，由于具有模块化（modularity）的特性，可以单独考虑各个因素，避免了维数灾难。 因此，通过明确地利用这种紧凑的表示来编码变化，在Cartpole这个例子中如何平衡pole的策略只随着重力而变化，所以在一个新的领域，只需要少量样本来估计低维变化因子，然后我们可以直接推导出新域中的最优策略。 我们可以看到图知识提供了更可解释和更有效的适应。此外，通过识别变化的位置和方式，我们不仅利用了不变部分，还利用了可变部分，因此可以更有效地适应。 值得一提的是，仅依靠不变部分可能会牺牲部分性能，因为一些关键信息会丢失。
 <br>
 ==目前的分析工具以及对对来的展望==
 ===Causal-learn===

@@ 第207行： / 第207行： @@
 Domain adaptation as a problem of inference on graphical models: causal view (2013 & 2016), data-driven (Petar’s work & particle disentanglement)
+[[File:Minimal Change Principle的因果表征学习.png|400px|left|thumb]]
 迁移学习是因果表征学习直接的应用之一。根据Minimal Change Principle [Huang et al., 2020]，在正确的因果表征下，不同domain之间的分布变化的通常可由在少数因果（隐）变量之间的causal edge/node上的干预来解释。因此，如果因果隐变量和它们之间的关系能被识别，迁移学习就只用发生在极少数的模型参数上。因果表征学习大大减少了迁移学习需要的数据量。这也是为什么人类在新环境在灵活变化、适应的根本原因。在[Zhang et al., 2020]中，我们首先使用上章节介绍的，在数据分布发生变化的情况下因果发现方法CD-NOD [Huang et. al., 2020]，寻找(X，Y)之间的因果图。如右图所示，在找出正确的causal factorization后，我们可对图里的每组独立因果模块，比如P(X3 | X2, Y, 𝛉3)，单独建模，通过因果变化因子𝛉捕捉不同source domain之间的分布区别。在做迁移时，我们只需使用少量target domain数据，推断或学习出发生变化的causal edge以及该edge上的变化因子，就可实现有效的迁移学习。当观测到的数据（比如图像像素）不是因果相关的变量而是由因果隐变量生成是，我们可使用上节探讨的iMSDA [Kong et. al., 2022]，通过因果表征学习，识别出解释domain之间变化的因果隐变量，并使用这些隐变量对图像数据做translation，将其投射到同一domain进行训练，从而实现图像迁移学习。
@@ 第216行： / 第216行： @@
 另外，基于Minimal Change Principle的因果表征学习也可应用于图片转换（Image Translation）任务。在训练数据集包含多个未匹配的图像domain情况下，我们提出的基于因果表征学习的模型IrwGAN [Xie et. al., 2021]可以有效地对不同domain的图片进行匹配同时学习图片转换函数，解决图片转换过程中content和style混杂的问题。
+[[File:图像转换方法IrwGAN.png|800px|thumb|center]]
 如上图所示，与其余现有方法相比，基于因果表征学习的图像转换方法IrwGAN保留了主要的图片内容信息，并且仅对图片的风格信息进行编辑和转换。
 <br>
 ===适应性强化学习===
 AdaRL: What, Where, and How to Adapt in Transfer Reinforcement Learning [Huang et al., 2022]:

@@ 第194行： / 第194行： @@
 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。
-[[File:nonlinear ICA.png|800px|center|thumb]]
+[[File:nonlinear ICA.png|800px|left|thumb]]
 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 & 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。

@@ 第146行： / 第146行： @@
 ===分布迁移情形===
 在许多情况下，记录的数据可能是非平稳的（non-stationary)，其数据分布随时间而变化，或者是异构的（heterogeneous），其数据分布随域（domain）变化。近来的研究表明，数据分布的变化反而可以给因果发现提供更多的信息，从而有助于因果发现。接下来着重介绍在分布发生变化的时候，不同情境下因果发现的几个工作。
 Causal discovery from nonstationary/heterogeneous data [CD-NOD, Huang et al., 2020]:
@@ 第177行： / 第178行： @@
 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。
 Partial Disentanglement for Domain Adaption [Kong et. al., 2022]
@@ 第185行： / 第187行： @@
 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。
 On the Identifiability of Nonlinear ICA: Sparsity and Beyond [Zheng et. al., 2022]
@@ 第191行： / 第194行： @@
 最后，我们统一探讨独立成分分析（ICA）和因果学习之间的关系。简单来说，因果发现是ICA问题的一种特殊情况。ICA解决的问题是从（线性或非线性）混杂的信号中识别出相互独立的成分。而函数功能因果模型（FCM）的数据生成过程正是将相互独立的噪声，通过因果关系混杂成观测到数据。两者唯一的区别是，FCM在结构上需满足有向非环图（DAG），或在时序数据上满足Granger Causality假设等。线性ICA的可识别性只需满足non-Gaussian source就可达到，因此LiNGAM能将ICA直接应用到线性条件下的因果发现问题。然而，nonlinear ICA的可识别性是非常困难的问题。直到近两年，人们才发现在能找到多个domain的数据，并且因果隐变量在额外提供的surrogate variable下被条件独立时，我们才能恢复出这些因果隐变量。在[Ricardo Pio et al. 2022] 中，我们就是使用这种nonlinear ICA的可识别性，实现非线性的因果发现的。
 因果表征学习则更是与ICA息息相关。例如，之前我们讨论的时序因果表征学习[Yao et al., 2021 & 2022]和迁移学习[Kong et. al., 2022]，都可视为这类情况下的nonlinear ICA在因果表征学习领域的拓展。然而，这类ICA方法的限制在于，训练数据必须含有足以解释domain区别的surrogate variable，而且这些surrogate variable可使因果隐变量独立。自然，我们会有疑问：在没有surrogate variable的情况下，nonlinear ICA是否也能达到的可识别性呢？在[Zheng et. al., 2022]中，我们使用structural sparsity assumption来回答这个问题。我们发现如果在生成过程中，对每个隐变量Si，我们都能找到一组变量{Xi}，使得Si是这组变量唯一的共有parent时，nonlinear ICA就可以达到可识别性。例如，在左图中，对于X1和X4，S1是它们之间唯一共有的parent。在这种结构稀疏性的条件下，我们可以在没有surrogate variable的情况下实现nonlinear ICA的可识别性。这类sparse nonlinear ICA在因果表征学习上的拓展会是一个很有意思的研究方向。

@@ 第182行： / 第182行： @@
 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。
-[[File:domain进行训练1.png|300px]][[File:domain进行训练2.png|300px]]
+[[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]
 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。

@@ 第158行： / 第158行： @@
 其中，CD-NOD通过检测观测变量Vi和C之间的条件独立性，来检测哪些变量对应的因果机制发生了变化。这一步在异常检测和根本原因分析（root cause analysis）中非常有用，因为在一些实际问题中，虽然我们可能会观察到大量变量的联合分布的变化，但实际上只是由于与 C 有直接联系的少数根本原因。
 进一步地，在学习了因果骨架之后，我们通过独立变化原理（independent change principle）来判定因果方向。 也就是说，原因的分布（P(cause)）和给定原因的结果的分布（P(effect|cause)）是独立变化的，但这种独立性通常在错误的方向上不成立。对于两个相邻变量，当其中只有一个与 C 直接连接，也就是invariance的情况，是一种特殊情况。
 从上述的分析我们很高兴地看到概率分布的变化其实有利于学习因果结构的。 回想下，在独立同分布的情况下，利用噪声项和原因之间的非对称独立性，只有在限定的函数空间下，因果方向才是唯一确定的。比如说，在线性高斯和在函数空间无任何限制的情况下，因果方向不能唯一确定。相反地，当有分布变化的时候，我们可以利用独立变化原理来确定因果方向，而不需要限制因果机制函数空间。
@@ 第173行： / 第173行： @@
 在这个工作中，我们提出时变因果模型，来表示非平稳时间序列中的因果过程。特别地，我们把随时间变化的因果机制（causal mechanism) 看做隐变量，而不是参数，并且对因果机制的变化进行建模。特别地，假设变量之间的因果关系是线性的，并且其中的隐变量：因果系数和噪声项的方差，满足auto-regressive models来变化。并且，由于因果模型描述了概率分布是如何随着时间变化的，所以如果我们知道因果模型是如何随着时间变化的，就可以以此做出适应性预测。
 之后的识别潜在的因果过程（identifying latent causal process）的工作，比如 [Yao et al., 2021，2022]，可以看做更进一步的扩展。其允许输入变量是图像，并且因果关系可以是非线性的。
@@ 第182行： / 第182行： @@
 图片识别的迁移学习（Domain Adaptation）任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型，通过迁移训练，能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分，并使用这些不变的部分进行预测。与之不同的是，我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习，识别出解释domain之间区别的因果隐变量，并使用这些隐变量对数据做translation，将其投射到同一domain进行训练，实现迁移学习。
+[[File:domain进行训练1.png|300px]][[File:domain进行训练2.png|300px]]
 如上图所示，我们假设图片x和标签y是由因果隐变量zc和zs通过非线性（但可逆）的映射生成。其中，zc包含图片content信息（domain之间不变的部分），zs包含图片style信息（domain之间变的部分）。值得注意的是，在不同domain下，生成函数是不变的，变化的部分仅有zs部分的分布。在这种情况下，我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性，我们假设zs在给定domain index u的情况下的条件独立性（这是一种实现minimal change principle的方式）。通过学习并识别zs和其生成过程，我们可以multi-domain的图片，可识别地translate到target domain，如上图将所有颜色数据都投射到红色数字domain中，从而直接在target domain（红色数字）上解决迁移学习问题。
@@ 第195行： / 第195行： @@
 <br>
 ==应用==
 在本章节中，我们将探讨因果表征学习在迁移学习、适应性强化学习、以及动作识别等机器学习任务上的应用。

@@ 第135行： / 第135行： @@
 下面，我们分别以视频数据和动作捕捉数据为算例，验证我们的理论和模型。首先，我们在multi-domain cartpole数据上测试。在该数据集的不同domain之间，小车的质量和重力系数会发生变化，从而导致时序数据的分布发生变化。我们在该数据集上测试LCD-NM ，可以发现在数据分布发生变化的情况下，因果隐变量和它们之间的关系可以被识别。
-[[File:multi-domain cartpole数据测试.png|800px|thumb]]
+[[File:multi-domain cartpole数据测试.png|800px|thumb|center]]
 同时，我们也在动作捕捉数据（CMU-Mocap）上验证算法。该组数据（Subject #8）记录11组不同类型行走（比如，小碎步、大跨步，快速行走等）试验数据。这些不同的行走方式导致了数据分布的不同。我们发现LCD-NM可以很好的在时序数据的分布发生变化的情况下恢复因果隐变量和它们的关系。同时，估计的因果因子change factor也能很好的描述分布的区别。
-[[File:估计的因果因子.png|800px|thumb]]
+[[File:估计的因果因子.png|800px|thumb|center]]
 最后，值得注意的是，[Yao et. al., 2021]中提出的nonstationary noise非参数模型（LEAP）是LCD-NM的一个特例。相较而言，LCD-NM考虑了更普适的分布变化，比如因果关系的变化，同步也利用了nonstationary process中部分stationary process的特性学习来识别因果隐变量。