“讨论:NIS+”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
讨论 | 贡献
第23行: 第23行:
  
 
目前这一小节没啥问题了,可以加参考文献和交叉引用了。
 
目前这一小节没啥问题了,可以加参考文献和交叉引用了。
 +
 +
PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。
  
 
=机器学习领域的分布外泛化问题=
 
=机器学习领域的分布外泛化问题=

2024年7月31日 (三) 18:46的版本

基于信息分解的因果涌现识别

最后一句介绍神经网络框架还是数学符号太多,因为没有放图,就不用那些数学符号了。(已删减)

  • 该方法只是基于互信息计算没有考虑因果,

Rosas他们也声称是因果涌现,是因为他们是基于格兰杰因果的。所以不能说它们完全没考虑因果,只是要比较格兰杰因果和Judea Pearl的因果。

(已改,神经网络框架是指?图片是这个吗?)

YMZ: 不是这张图,而是Learning Causally Emergent Representations这篇文章里的神经网络框架。不过我看了一下,因果涌现词条那里也写的非常简单,那你这里就不放图了吧,一句话说明他们也用了机器学习框架,就不提他那些数学符号了。然后这句话里引上参考文献Learning Causally Emergent Representations(已改:Rosas等学者利用机器学习框架【6】,通过信息分解来识别量化因果涌现,但是信息分解框架中定义的信息原子难以计算,——这篇文章的第一作者是Kaplanis要不要放在讲Kaplanis那里)

YMZ:要的,机器学习框架放到结尾来介绍,而不是开头

PLL:需要指出的是,Hoel的方法基于Judea Pearl因果,而此方法是基于格兰杰因果,利用机器学习框架,计算互信息的组合,没有引入do干预。这样呢? (YMZ:把“没有引入do干预”换成“容易出现造成虚假关联的混杂因子”就可以了)

YMZ:开头再加上 Rosas等人通过信息分解框架给出了和Hoel等人不同的对因果涌现的新定义 这一个信息点。其他没啥问题了。

PLL:已加,但是位置是最开头吗?

NIS系列

目前这一小节没啥问题了,可以加参考文献和交叉引用了。

PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。

机器学习领域的分布外泛化问题

  • 以一个狗识别的图像判别任务为例。训练图像的背景一般是在草地上、少数是在地面上,且图像中,基本可以看见狗的整个身子。经过大量数据的训练之后,如果给模型一个在草地上奔跑的狗的图像,那么模型大概95%以上会判定这是狗;如果给一张在水泥地上,且遮挡了狗部分身体的图像,那么模型可能有一半的概率可以识别出图像中的动物是狗;如果给模型一张狗在游泳池中,只露出头的图像,那么模型大概率不能识别出来图像中的是狗。

这个例子本身叙述可以再简洁一些

PLL:OK\(^o^)/~,已改,其他的呢?

YMZ:我说的简洁想的是有两个不同的场景对比就可以了,不用三个~😂

  • 相关关系的来源可以分成三种:

这个分类出处是哪里呀?相关性来源应该不只这些吧,似乎没有包含对撞结构造成的虚假关联。可以不讲分类,主要讲样本选择偏差这一个点,这和NIS+要解决的问题是密切相关的。另外要注意,图像识别不是我们解决的任务类型,只是一个引子。还要讲动力学系统。在动力学系统里,这个问题就体现为初始条件分布不同甚至是某些动力学参数不一样(训练和测试不一样)。

  • 为了增强分布外泛化能力,可以生成多样化的数据,模拟不同的测试环境,

缺主语呀~~

NIS 概述

  • NIS使用神经网络对方程中所有需要优化的函数进行参数化。

这句可以去了,下面的公式就是优化框架,包括目标函数和约束条件。