“讨论:NIS+”的版本间的差异

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索
讨论 | 贡献
第2行: 第2行:
 
=基于信息分解的因果涌现识别=
 
=基于信息分解的因果涌现识别=
  
 +
YMZ:可以的,这一段没什么大问题了,有些衔接不通畅的地方我润色了一下,你可以再通读和润色一些语句,然后就可以加文献和引用了。
  
* 该方法只是基于互信息计算没有考虑因果,
+
PLL:已加,文献P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019).  和  Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.
 
 
Rosas他们也声称是因果涌现,是因为他们是基于格兰杰因果的。所以不能说它们完全没考虑因果,只是要比较格兰杰因果和Judea Pearl的因果。
 
 
 
(已改,神经网络框架是指?图片是这个吗?)
 
 
 
YMZ: 不是这张图,而是Learning Causally Emergent Representations这篇文章里的神经网络框架。不过我看了一下,因果涌现词条那里也写的非常简单,那你这里就不放图了吧,一句话说明他们也用了机器学习框架,就不提他那些数学符号了。然后这句话里引上参考文献Learning Causally Emergent Representations(已改:Rosas等学者利用机器学习框架【6】,通过信息分解来识别量化因果涌现,但是信息分解框架中定义的信息原子难以计算,——这篇文章的第一作者是Kaplanis要不要放在讲Kaplanis那里)
 
 
 
YMZ:要的,机器学习框架放到结尾来介绍,而不是开头
 
 
 
PLL:需要指出的是,Hoel的方法基于Judea Pearl因果,而此方法是基于格兰杰因果,利用机器学习框架,计算互信息的组合,没有引入do干预。这样呢? (YMZ:把“没有引入do干预”换成“容易出现造成虚假关联的混杂因子”就可以了)
 
 
 
YMZ:开头再加上 Rosas等人通过信息分解框架给出了和Hoel等人不同的对因果涌现的新定义 这一个信息点。其他没啥问题了。
 
 
 
PLL:已加,但是位置是最开头吗?
 
 
 
YMZ:可以的,这一段没什么大问题了,有些衔接不通畅的地方我润色了一下,你可以再通读和润色一些语句,然后就可以加文献和引用了。
 
  
 
=NIS系列=
 
=NIS系列=
第25行: 第10行:
 
目前这一小节没啥问题了,可以加参考文献和交叉引用了。
 
目前这一小节没啥问题了,可以加参考文献和交叉引用了。
  
PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。如果师兄觉得可以,就把这个讨论删一下?
+
PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。
  
 
YMZ:可逆神经网络也加上对应的参考文献吧
 
YMZ:可逆神经网络也加上对应的参考文献吧
  
=机器学习领域的分布外泛化问题=
+
PLL:哪一篇? Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.这个吗?
 
 
* 而在动力学系统中,模型可能对初始条件非常敏感,即使是微小的初始条件变化也可能导致系统行为的显著差异。如果训练数据的初始条件分布与测试数据不同,模型可能无法准确预测测试数据下的系统行为。甚至如果一些动力学参数不一样,也会造成模型的结果不准确。
 
 
 
这句话逻辑不太准确,我改了一下你可以看看。
 
 
 
这个小节没其他问题了~
 
  
 
=NIS 概述=
 
=NIS 概述=
第42行: 第21行:
  
 
YMZ:要提一下
 
YMZ:要提一下
 
* 为了降低编码器 和解码器 的复杂程度,作者将编码过程分解为两个步骤
 
 
应该是为了数学性质和可解释性,以及降低模型参数量,采用了可逆神经网络。所以编码过程分解为了两个步骤。
 
  
 
=NIS 缺陷=
 
=NIS 缺陷=
第53行: 第28行:
 
YMZ:差不多,也不用特别详细,但还需要写的更准确。
 
YMZ:差不多,也不用特别详细,但还需要写的更准确。
  
* INN网络在大数据集上难以训练,此模型目前只能在小数据集上使用。
+
PLL:师兄看看哪里需要修改?
 
 
这一点上不用提INN,就说整个框架难以拓展到更大规模的复杂系统上。
 
 
 
* 虽然我们可以说明什么是粗粒度函数,并将其清晰地分解为信息转换和信息丢弃两个部分
 
 
 
黑箱除了INN,还有宏观动力学学习器。
 
 
 
* 模型所能预测的条件分布实际上仅限于高斯分布或拉普拉斯分布。
 
 
 
这个不用提了,这是AI领域对神经网络可以接受的假设,不是我们关心的缺陷。可以加一条模型对马尔科夫性的假设。这是一个重要的局限。
 
  
 
=NIS+ 概述=
 
=NIS+ 概述=
 
别忘了这里放文章里那个大图。
 

2024年8月1日 (四) 17:42的版本

基于信息分解的因果涌现识别

YMZ:可以的,这一段没什么大问题了,有些衔接不通畅的地方我润色了一下,你可以再通读和润色一些语句,然后就可以加文献和引用了。

PLL:已加,文献P. A. Mediano, F. Rosas, R. L. Carhart-Harris, A. K. Seth, A. B. Barrett, Beyond integrated information: A taxonomy of information dynamics phenomena, arXiv preprint arXiv:1909.02297 (2019). 和 Rosas F E, Mediano P A, Jensen H J, et al. Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data[J]. PLoS computational biology, 2020, 16(12): e1008289.

NIS系列

目前这一小节没啥问题了,可以加参考文献和交叉引用了。

PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。

YMZ:可逆神经网络也加上对应的参考文献吧

PLL:哪一篇? Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.这个吗?

NIS 概述

NIS要不要提一句dEI和dCE?

YMZ:要提一下

NIS 缺陷

  • PLL:这样写可以吗?感觉不知道怎么写详细?

YMZ:差不多,也不用特别详细,但还需要写的更准确。

PLL:师兄看看哪里需要修改?

NIS+ 概述