更改

跳到导航 跳到搜索
第182行: 第182行:  
图片识别的迁移学习(Domain Adaptation)任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型,通过迁移训练,能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分,并使用这些不变的部分进行预测。与之不同的是,我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习,识别出解释domain之间区别的因果隐变量,并使用这些隐变量对数据做translation,将其投射到同一domain进行训练,实现迁移学习。
 
图片识别的迁移学习(Domain Adaptation)任务通常会提供多组在不同source domain下图片x和标签y。其条件分布P(y|x)在不同domain下有一定变化。我们的目标是在使在source domain上训练的模型,通过迁移训练,能在未提供标签的target domain下具有良好表现。传统迁移学习着重于学习不同domain之间不变的部分,并使用这些不变的部分进行预测。与之不同的是,我们提出的iMSDA [Kong et. al., 2022]通过因果表征学习,识别出解释domain之间区别的因果隐变量,并使用这些隐变量对数据做translation,将其投射到同一domain进行训练,实现迁移学习。
   −
[[File:domain进行训练1.png|300px]][[File:domain进行训练2.png|300px]]
+
[[File:domain进行训练1.png|200px]][[File:domain进行训练2.png|200px]]
    
如上图所示,我们假设图片x和标签y是由因果隐变量zc和zs通过非线性(但可逆)的映射生成。其中,zc包含图片content信息(domain之间不变的部分),zs包含图片style信息(domain之间变的部分)。值得注意的是,在不同domain下,生成函数是不变的,变化的部分仅有zs部分的分布。在这种情况下,我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性,我们假设zs在给定domain index u的情况下的条件独立性(这是一种实现minimal change principle的方式)。通过学习并识别zs和其生成过程,我们可以multi-domain的图片,可识别地translate到target domain,如上图将所有颜色数据都投射到红色数字domain中,从而直接在target domain(红色数字)上解决迁移学习问题。
 
如上图所示,我们假设图片x和标签y是由因果隐变量zc和zs通过非线性(但可逆)的映射生成。其中,zc包含图片content信息(domain之间不变的部分),zs包含图片style信息(domain之间变的部分)。值得注意的是,在不同domain下,生成函数是不变的,变化的部分仅有zs部分的分布。在这种情况下,我们学习生成函数其实是所有图片的共有的渲染程序。为了因果隐变量zs的可识别性,我们假设zs在给定domain index u的情况下的条件独立性(这是一种实现minimal change principle的方式)。通过学习并识别zs和其生成过程,我们可以multi-domain的图片,可识别地translate到target domain,如上图将所有颜色数据都投射到红色数字domain中,从而直接在target domain(红色数字)上解决迁移学习问题。
7,129

个编辑

导航菜单