讨论:NIS+

基于信息分解的因果涌现识别

最后一句介绍神经网络框架还是数学符号太多，因为没有放图，就不用那些数学符号了。（已删减）

• 该方法只是基于互信息计算没有考虑因果，

Rosas他们也声称是因果涌现，是因为他们是基于格兰杰因果的。所以不能说它们完全没考虑因果，只是要比较格兰杰因果和Judea Pearl的因果。

（已改，神经网络框架是指？图片是这个吗？）

YMZ: 不是这张图，而是Learning Causally Emergent Representations这篇文章里的神经网络框架。不过我看了一下，因果涌现词条那里也写的非常简单，那你这里就不放图了吧，一句话说明他们也用了机器学习框架，就不提他那些数学符号了。然后这句话里引上参考文献Learning Causally Emergent Representations（已改：Rosas等学者利用机器学习框架【6】，通过信息分解来识别量化因果涌现，但是信息分解框架中定义的信息原子难以计算，——这篇文章的第一作者是Kaplanis要不要放在讲Kaplanis那里）

YMZ：要的，机器学习框架放到结尾来介绍，而不是开头

PLL：需要指出的是，Hoel的方法基于Judea Pearl因果，而此方法是基于格兰杰因果，利用机器学习框架，计算互信息的组合，没有引入do干预。这样呢? （YMZ：把“没有引入do干预”换成“容易出现造成虚假关联的混杂因子”就可以了）

YMZ：开头再加上 Rosas等人通过信息分解框架给出了和Hoel等人不同的对因果涌现的新定义 这一个信息点。其他没啥问题了。

PLL：已加，但是位置是最开头吗？

NIS系列

目前这一小节没啥问题了，可以加参考文献和交叉引用了。

PLL：参考文献添加了neural information squeezer for causal emergence这片，链接主要是NIS。如果师兄觉得可以，就把这个讨论删一下？

机器学习领域的分布外泛化问题

• 以一个狗识别的图像判别任务为例。训练图像的背景一般是在草地上、少数是在地面上，且图像中，基本可以看见狗的整个身子。经过大量数据的训练之后，如果给模型一个在草地上奔跑的狗的图像，那么模型大概95%以上会判定这是狗；如果给一张在水泥地上，且遮挡了狗部分身体的图像，那么模型可能有一半的概率可以识别出图像中的动物是狗；如果给模型一张狗在游泳池中，只露出头的图像，那么模型大概率不能识别出来图像中的是狗。

这个例子本身叙述可以再简洁一些

PLL：OK\(^o^)/~，已改，其他的呢？

YMZ：我说的简洁想的是有两个不同的场景对比就可以了，不用三个～😂

PLL：好哒~，删除了用泳池的。

• 相关关系的来源可以分成三种：

这个分类出处是哪里呀？ （师兄之前说的视频，崔鹏老师的，因果科学与Causal AI第二季：5.因果启发的稳定学习理论、方法和应用）

相关性来源应该不只这些吧，似乎没有包含对撞结构造成的虚假关联。可以不讲分类，主要讲样本选择偏差这一个点，这和NIS+要解决的问题是密切相关的。 （改为：机器学习经过训练学习得到的很大程度上是变量之间的相关关系，这种相关关系可能来自样本选择偏差（Sample Selection Bias）。当考虑了其他变量后，原本看似有相关性的变量可能实际上并无关联，是一种虚假的相关关系。）

另外要注意，图像识别不是我们解决的任务类型，只是一个引子。还要讲动力学系统。在动力学系统里，这个问题就体现为初始条件分布不同甚至是某些动力学参数不一样（训练和测试不一样）。

PLL：添加 而在动力学系统中，模型可能对初始条件非常敏感，即使是微小的初始条件变化也可能导致系统行为的显著差异。如果训练数据的初始条件分布与测试数据不同，模型可能无法准确预测测试数据下的系统行为。甚至如果一些动力学参数不一样，也会造成模型的结果不准确。

• 为了增强分布外泛化能力，可以生成多样化的数据，模拟不同的测试环境，

缺主语呀～～ PLL：增加主语（学者）

NIS 概述

• NIS使用神经网络对方程中所有需要优化的函数进行参数化。

这句可以去了，下面的公式就是优化框架，包括目标函数和约束条件。

PLL：已删。

NIS要不要提一句dEI和dCE？

NIS 缺陷

• PLL：这样写可以吗？感觉不知道怎么写详细？