“讨论:NIS+”的版本间的差异
(→NIS 概述) |
(→NIS系列) |
||
第11行: | 第11行: | ||
YMZ:不是,是realnvp的,你看原论文的参考文献。我们要引的参考文献不只是因果涌现领域这几篇,还要关注我们论文里的参考文献,尤其是一些技术,往往都是别的领域发展比较成熟的我们借过来用。另外张老师动力学可逆这篇文章跟神经网络是没有关系的~ | YMZ:不是,是realnvp的,你看原论文的参考文献。我们要引的参考文献不只是因果涌现领域这几篇,还要关注我们论文里的参考文献,尤其是一些技术,往往都是别的领域发展比较成熟的我们借过来用。另外张老师动力学可逆这篇文章跟神经网络是没有关系的~ | ||
+ | |||
+ | PLL:已改~ | ||
=NIS 概述= | =NIS 概述= |
2024年8月2日 (五) 10:46的版本
NIS系列
目前这一小节没啥问题了,可以加参考文献和交叉引用了。
PLL:参考文献添加了neural information squeezer for causal emergence这片,链接主要是NIS。
YMZ:可逆神经网络也加上对应的参考文献吧
PLL:哪一篇? Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.这个吗?
YMZ:不是,是realnvp的,你看原论文的参考文献。我们要引的参考文献不只是因果涌现领域这几篇,还要关注我们论文里的参考文献,尤其是一些技术,往往都是别的领域发展比较成熟的我们借过来用。另外张老师动力学可逆这篇文章跟神经网络是没有关系的~
PLL:已改~
NIS 概述
NIS要不要提一句dEI和dCE?
YMZ:要提一下
PLL:已加,这样可以不?
YMZ:应该需要你把公式放在这里简单讲一下。要不你单独拿出来一个小节,叫做“神经网络上的EI计算”。我们会有一个专门的词条讲这个,你在这里就简单介绍一下那个公式,然后交叉引用即可。这个小节可以放在概述和缺陷之间。
- 当输入数据的维度过大的时候,EI可能会发散。
这一点已经包含在你下面说的第二点里了。它其实有一个考虑是去除超参数L的影响。你可以看一下dei和dce的公式。
NIS 缺陷
- PLL:这样写可以吗?感觉不知道怎么写详细?
YMZ:差不多,也不用特别详细,但还需要写的更准确。
PLL:师兄看看哪里需要修改?
NIS+ 数学推导
问题的形式化表达就不写了吧,因为和NIS那个优化框架基本没有区别。目前你写这一部分属于宏观EI变分下界那一小节的。数学推导这里你就直接写变分下界这一节吧。会引用到NIS那里提到的优化框架,你可以看一下别的词条是怎么引用公式的。