NIS - 版本历史

2026年9月10日 (四) 22:58 Jake

2026-09-10T22:58:51Z

相信未来：/* 编者推荐 */

2024-09-19T09:27:48Z

编者推荐

相信未来：/* 因果涌现读书会 */

2024-09-19T09:27:27Z

因果涌现读书会

相信未来：/* 编者推荐 */

2024-09-19T09:24:48Z

编者推荐

相信未来：/* 编者推荐 */

2024-09-19T09:23:29Z

编者推荐

Jake：/* NIS的优点 */

2024-09-09T02:07:03Z

NIS的优点

Jake：/* 简单布尔网络 */

2024-09-09T02:01:01Z

简单布尔网络

Jake：/* 简单马尔可夫链 */

2024-09-09T01:59:24Z

简单马尔可夫链

Jake：/* 带测量噪声的弹簧振荡器 */

2024-09-09T01:43:27Z

带测量噪声的弹簧振荡器

Jake：/* 带测量噪声的弹簧振荡器 */

2024-09-09T01:39:55Z

带测量噪声的弹簧振荡器

@@ 第27行： / 第27行： @@
 [[可逆神经网络]]（INNs）是一种特殊的神经网络，它的设计允许网络从输出精确地重建输入。这种可逆性使其在一些任务中非常有用，例如无损数据压缩、生成模型和概率密度估计。INNs 的关键特性是网络的每个转换都可以精确反向，因此，可以通过输出推导出对应的输入。
-可逆神经网络与传统的神经网络不同，传统神经网络通常是不可逆的，即输入经过一系列复杂的非线性变换后，无法通过简单的反向操作恢复初始输入。而可逆神经网络通过特殊的结构设计，保证了每个变换都是双向的。例如，[[Real NVP]]（非线性卷积层叠网络）和[[基于耦合层的可逆模型]]是目前应用较为广泛的可逆神经网络结构。Real NVP 通过将输入分为两部分，使用一部分输入来调整另一部分，从而保证网络整体的可逆性。
+可逆神经网络与传统的神经网络不同，传统神经网络通常是不可逆的，即输入经过一系列复杂的非线性变换后，无法通过简单的反向操作恢复初始输入。而可逆神经网络通过特殊的结构设计，保证了每个变换都是双向的。例如，[[RealNVP]]（非线性卷积层叠网络）和[[基于耦合层的可逆模型]]是目前应用较为广泛的可逆神经网络结构。RealNVP 通过将输入分为两部分，使用一部分输入来调整另一部分，从而保证网络整体的可逆性。
 在实际应用中，可逆神经网络被广泛用于[[生成对抗网络]]（GANs）、图像生成以及强化学习等领域。它们的可逆性不仅降低了计算复杂度，还提高了模型的可解释性，因为它可以精确地追踪输入如何影响输出。

@@ 第380行： / 第380行： @@
 ===因果涌现读书会===
-*[https://pattern.swarma.org/study_group_issue/373 因果涌现读书会第二季第24期：如何从数据中发现因果涌现——神经信息压缩器]
+*[https://pattern.swarma.org/study_group_issue/373 因果涌现读书会第二季第二十四期：如何从数据中发现因果涌现——神经信息压缩器]
 ===文章推荐===

@@ 第380行： / 第380行： @@
 ===因果涌现读书会===
-*[https://pattern.swarma.org/study_group_issue/373 因果涌现读书会第二季]
+*[https://pattern.swarma.org/study_group_issue/373 因果涌现读书会第二季第24期：如何从数据中发现因果涌现——神经信息压缩器]
 ===文章推荐===
 * Zhang, J.; Liu, K. [https://www.mdpi.com/1099-4300/25/1/26 Neural Information Squeezer for Causal Emergence]. ''Entropy'' 2023, ''25'', 26.

←上一版本		2024年9月19日 (四) 09:24的版本
第389行：		第389行：

	此词条由[[刘佳睿]]编写，[[张江]]、[[王志鹏]]和[[刘凯威]]整理和审校。		此词条由[[刘佳睿]]编写，[[张江]]、[[王志鹏]]和[[刘凯威]]整理和审校。
		+
		+	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
		+
		+	[[Category:因果涌现]]
		+	[[Category:信息论]]
		+	[[Category:因果度量]]

←上一版本		2024年9月19日 (四) 09:23的版本
第388行：		第388行：
	*张江老师根据因果涌现前五季读书会整理的因果涌现入门路径：https://pattern.swarma.org/article/296		*张江老师根据因果涌现前五季读书会整理的因果涌现入门路径：https://pattern.swarma.org/article/296

−	~~此词条由因果涌现第五季读书会词条梳理志愿者刘佳睿编撰，未经专家审核，带来阅读不便，请见谅。~~	+	此词条由[[刘佳睿]]编写，[[张江]]、[[王志鹏]]和[[刘凯威]]整理和审校。

@@ 第359行： / 第359行： @@
 ===NIS的优点===
-NIS（神经信息压缩器）是一种新的神经网络框架，可被用于发现时间序列数据中的粗粒化策略、宏观动力学和涌现的因果关系。NIS中可逆神经网络的使用通过在编码器和解码器之间共享参数来减少参数数量，且使得分析 NIS 架构的数学特性更加方便。通过约束粗粒化策略来预测具有精度阈值的未来微观状态，从而定义有效的粗粒化策略和宏观动力学，并推出因果涌现识别问题可以理解为在约束条件下最大化有效信息的问题。
+NIS（神经信息压缩器）是一种新的神经网络框架，可被用于发现时间序列数据中的粗粒化策略、宏观动力学和涌现的因果关系。NIS中可逆神经网络的使用通过在编码器和解码器之间共享参数来减少参数数量，且使得分析 NIS 架构的数学特性更加方便。通过约束粗粒化策略来预测未来微观状态从而让误差小于一定精度阈值，从而定义有效的粗粒化策略和宏观动力学，并推出因果涌现识别问题可以理解为在约束条件下最大化有效信息的问题。
 ===NIS的缺点===

@@ 第345行： / 第345行： @@
 [[文件:NIS Fig 7.png|600px|尔网络� 布尔网络样例（左）及其原理（右）。|替代=图7. 布尔网络样例（左）及其原理（右）。]]
-布尔网络是离散动力系统的典型例子，其中每个节点有两种可能的状态（0 或 1），且节点状态受其相邻节点状态的影响。该网络的微观机制如下：上图是一个包含四个节点的布尔网络的示例，每个节点的状态受到其相邻节点状态组合的概率影响，具体概率见上图中的表格。将所有节点的机制结合后，可以得到一个具有 <math>2^4 = 16</math> 个状态的大型马尔可夫转移矩阵。
+布尔网络是离散动力系统的典型例子，其中每个节点有两种可能的状态（0 或 1），且节点状态受其相邻节点状态的影响。该网络的微观机制如下：上图是一个包含四个节点的布尔网络的示例，每个节点的状态受到其相邻节点状态组合的概率影响，具体概率见上图中的表格。将所有节点的机制结合后，可以得到一个具有 <math>2^4 = 16</math> 个状态的马尔可夫转移矩阵。
 [[文件:NIS Fig 8.png|600px|尔网络� 布尔网络的实验结果。|替代=图8. 布尔网络的实验结果。]]

@@ 第336行： / 第336行： @@
 [[文件:NIS Fig 6.png|600px|单马尔� 简单马尔可夫链的实验结果。|替代=图6. 简单马尔可夫链的实验结果。]]
-该系统有 8 个状态，其中 7之间 个可以相互转移，最后一个状态是独立的。使用一个 one-hot 向量编码状态（例如状态2将表示为 (0,1,0,0,0,0,0,0)）。对初始状态进行50,000个批次的采样以生成数据，然后将 one-hot 向量输入 NIS 框架，经过50,000个迭代轮次的训练后可以得到一个有效的模型。结果如上图所示。
+该系统有 8 个状态，其中前7个状态之间可以相互转移，最后一个状态是独立的。NIS模型使用一个 one-hot 向量编码状态（例如状态2将表示为 (0,1,0,0,0,0,0,0)）。对初始状态进行50,000个批次的采样以生成数据，然后将 one-hot 向量输入 NIS 框架，经过50,000个迭代轮次的训练后可以得到一个有效的模型。结果如上图所示。
 通过系统地搜索不同的 <math>q</math> 可以发现维度平均因果涌现（dCE）在 <math>q=1</math> 处达到峰值（上图a部分）。可以通过上图b部分可视化在最佳尺度上的粗粒化策略，其中 <math>x</math> 坐标是不同状态的十进制编码，<math>y</math> 坐标表示宏观状态的编码。粗粒化映射成功地将前七个状态分类为一个宏观状态，同时保持最后一个状态不变。这种学习到的粗粒化策略与文献<ref name=":0" />中的示例相同。

@@ 第320行： / 第320行： @@
 [[文件:NIS Fig 5.png|600px|量间的� 变量间的各类互信息随着训练迭代次数而发生变化。]]
-根据信息瓶颈理论<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>，在训练初期潜变量和输出之间的互信息可能会增加，且输入和潜变量之间的信息必然在增加后随着训练过程的进行而减少。NIS 模型证实了这一结论（上图b部分），其中宏观状态 <math>\mathbf{y}_t</math> 和预测 <math>\mathbf{y}_{t+1}</math> 都是潜变量。由于 <math>\mathbf{y}_t</math> 和 <math>\mathbf{y}(t+1)</math> 是瓶颈，而所有其他无关信息都被变量 <math>\mathbf{x}''_t</math> 弃用，在得到相同结论的情况下，NIS 模型的架构可以比一般的神经网络更清楚地反映信息瓶颈。
+根据信息瓶颈理论<ref>Shwartz-Ziv, R.; Tishby, N. Opening the black box of deep neural networks via information. arXiv 2017, arXiv:1703.00810.</ref>，在训练初期宏观变量和输出之间的互信息可能会增加，且输入和宏观变量之间的信息必然在增加后随着训练过程的进行而减少。NIS 模型证实了这一结论（上图b部分），其中宏观状态 <math>\mathbf{y}_t</math> 和预测 <math>\mathbf{y}_{t+1}</math> 都是宏观变量。由于 <math>\mathbf{y}_t</math> 和 <math>\mathbf{y}(t+1)</math> 是瓶颈，而所有其他无关信息都被变量 <math>\mathbf{x}''_t</math> 弃用，在得到相同结论的情况下，NIS模型的架构可以比一般的神经网络更清楚地反映信息瓶颈。
 ==简单马尔可夫链==

@@ 第309行： / 第309行： @@
 \tilde{\mathbf{x}}_2 = \mathbf{x} - \xi \\
 \end{cases}</math></blockquote>|{{EquationRef|27}}}}
-其中<math>\xi \sim \mathcal{N}(0,\sigma)</math> 是符合二维高斯分布的随机数值，<math>\sigma</math> 是位置与速度标准差的向量。将状态<math>\mathbf{x}</math>理解为潜在宏观状态，测量微观状态<math>\tilde{\mathbf{x}}_1</math>，<math>\tilde{\mathbf{x}}_2</math>。 NIS从测量值中恢复潜在的宏观X。
+其中<math>\xi \sim \mathcal{N}(0,\sigma)</math> 是符合二维高斯分布的随机数值，<math>\sigma</math> 是位置与速度标准差的向量。将状态<math>\mathbf{x}</math>理解为潜在宏观状态，测量微观状态<math>\tilde{\mathbf{x}}_1</math>，<math>\tilde{\mathbf{x}}_2</math>。 NIS从测量值中恢复潜在的宏观态[math]\mathbf{x}_t[/math]。
 根据式{{EquationNote|27}}，影响状态测量的噪音可以通过叠加两通道的数据消除。因此，如果在NIS中输入两个测量值的宏观状态，则可简单地获得正确的动力学。使用Euler方法（<math>dt = 1</math>）采样<math>10,000</math>批批次的数据，并在每个批次中生成100个随机初始状态并执行一个步骤动力学，求得下一个时间步长中的状态。使用这些数据来训练神经网络，同时使用相同的数据集来训练具有相同数量参数的普通前馈神经网络以作比较。 结果如下图所示。