集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织

更改

NIS (查看源代码)

2024年7月15日 (一) 20:57的版本

删除1,035字节 、 2024年7月15日 (星期一)
更正定义错误、优化简介部分神经网络框架图片
第1行： 第1行： −
NIS（神经信息压缩器）是一个以最大化粗粒化过程中有效信息的神经网络框架。它由可逆神经网络组成，分为编码器、解码器、动力学学习器三部分，可以通过微观状态时间序列的输入、训练后输出粗粒化策略、宏观动力学、最优建模尺度，并判断是否存在因果涌现。NIS框架可以被视为一个压缩信道，通过投影操作在中间进行信道压缩。这种压缩信息通道通过约束粗粒化策略，将复杂的微观状态映射到简单的宏观状态，从而定义了有效的粗粒化策略和宏观动态。基于信息瓶颈理论，NIS框架通过神经网络模型的训练过程中，逐渐使得其输出与真实数据的互信息接近于 <math> I(\mathbf{x}_{t+1}; \mathbf{x}_t) </math>，从而增强了整个系统的因果涌现特性。
+
NIS（神经信息压缩器）是一个以解决因果涌现辨识问题为目的的神经网络框架。它由编码器、解码器、动力学学习器三部分组成，其中编码器、解码器共享同一个可逆神经网络。NIS可以通过微观状态时间序列的输入、训练后输出粗粒化策略、宏观动力学、最优建模尺度，并判断是否存在[[因果涌现]]。NIS框架可以被视为一个压缩信道，通过投影操作在中间进行信道压缩。这种压缩信息通道通过约束粗粒化策略，将复杂的微观状态映射到简单的宏观状态，从而定义了有效的粗粒化策略和宏观动态。基于信息瓶颈理论，NIS框架通过神经网络模型的训练过程中，逐渐使得其输出与真实数据的互信息接近于 <math> I(\mathbf{x}_{t+1}; \mathbf{x}_t) </math>，从而增强了整个系统的因果涌现特性。
−
验证其性质的实验包括带测量噪声的弹簧振荡器、简单布尔网络等，由其部分不足之处也衍生出了NIS+框架。NIS在信息瓶颈理论的指导下，展示了在时间序列数据中发现因果涌现的理论性质和应用潜力。
+
验证其性质的实验包括带测量噪声的弹簧振荡器、简单布尔网络等，由其部分不足之处也衍生出了[[NIS+]]框架。NIS在信息瓶颈理论的指导下，展示了在时间序列数据中发现因果涌现的理论性质和应用潜力。
    
=历史=
 
=历史=
第34行： 第34行：  
正如改变通道的输入概率分布<math>p(X)</math>可以增加<math>I(X;Y)</math>，改变干预分布l可以增加<math>I_D</math>。宏观干预的使用转换或扭曲了<math>I_D</math>，导致因果涌现。相应地，具有EI最大化的宏观因果模型（及其相关的<math>I_D</math>和<math>E_D</math>）最充分地利用了系统的因果容量。还需注意的是，尽管从某个特定宏观尺度的视角来看，<math>I_D</math>仍处于<math>H</math>的最大化状态，即每个<math>do(s_m)</math>具有相同的概率（而<math>E_D</math>是宏观效应的集合）。
 
正如改变通道的输入概率分布<math>p(X)</math>可以增加<math>I(X;Y)</math>，改变干预分布l可以增加<math>I_D</math>。宏观干预的使用转换或扭曲了<math>I_D</math>，导致因果涌现。相应地，具有EI最大化的宏观因果模型（及其相关的<math>I_D</math>和<math>E_D</math>）最充分地利用了系统的因果容量。还需注意的是，尽管从某个特定宏观尺度的视角来看，<math>I_D</math>仍处于<math>H</math>的最大化状态，即每个<math>do(s_m)</math>具有相同的概率（而<math>E_D</math>是宏观效应的集合）。
   −
NIS框架解决的数学问题正是如何最大化这一过程中的有效信息。
+
NIS框架解决的数学问题正是如何最大化这一过程中的[[有效信息]]。
    
=简介=
 
=简介=
    
==数学定义==
 
==数学定义==
−
有效粗粒化策略是一种尽可能多地保留微观状态信息的宏观状态压缩映射。当存在一个函数[math]\displaystyle{ \phi_q^† :\mathcal{R}^q \rightarrow \mathcal{R}^p }[/math]，使得对于给定的小实数[math]\displaystyle{ \varepsilon }[/math]和给定的向量范数[math]\displaystyle{ \Vert \cdot \Vert }[/math]，满足以下不等式时，[math]\displaystyle{ q }[/math]粗粒化策略[math]\displaystyle{ \phi_q :\mathcal{R}^p \rightarrow \mathcal{R}^q }[/math]是ε-有效的：
+
NIS为了达到上一节中最大化系统动力学的有效信息的目的，需要在所有可能的有效策略和动力学中优化粗粒化策略和宏观动力学。粗粒化策略优化问题可以表述为：
−
 
  −
<math>\Vert \phi_q^† ( \mathbf{y}(t) - \mathbf{x}_t \Vert < \epsilon ,</math>
  −
 
  −
同时，导出的宏观动力学[math]\displaystyle{ \hat{f}_{\phi_q} }[/math]也是有效的（其中[math]\displaystyle{ \mathbf{y}(t) }[/math]是方程2的解）。即对于所有[math]\displaystyle{ t = 1,2,···, T }[/math]：
  −
 
  −
<math>\mathbf{y}(t)=\phi_q (\mathbf{x}_{t-1}) + \int_{t-1}^t \hat{f}_{\phi_q}(\mathbf{y}(\tau), \xi') d\tau</math>
  −
 
  −
通过[math]\displaystyle{ \phi_q^† }[/math]，可以重构微观状态时间序列，使得宏观状态变量尽可能多地包含微观状态的信息。
  −
 
  −
为了最大化系统动力学的有效信息，需要在所有可能的有效策略和动力学中优化粗粒化策略和宏观动力学。粗粒化策略优化问题可以表述为：
      
<math>\max_{\phi_q,\hat{f}_{\phi_q},\phi_q^†,q} \mathcal{I}(\hat{f}_{\phi_q})</math>
 
<math>\max_{\phi_q,\hat{f}_{\phi_q},\phi_q^†,q} \mathcal{I}(\hat{f}_{\phi_q})</math>
第58行： 第48行：     
==神经网络框架 ==
 
==神经网络框架 ==
−
[[文件:NIS Structure.png||居中|400px|NIS框架简介]]
+
[[文件:NIS简介.png||居中|400px|NIS框架简介]]
      第120行： 第110行：       −
= NIS框架=
+
=NIS框架=
    
NIS是一种新的机器学习框架，基于可逆神经网络来解决式6中提出的问题。其由三个组件组成：编码器、动力学学习器和解码器。它们分别用神经网络 <math>\psi_\alpha , f_\beta ,</math> 和<math>\psi_\alpha^{-1}</math> 表示，参数分别为<math>\alpha, \beta</math> 和<math>\alpha</math> 。整个框架如图1所示。接下来将分别描述每个模块。
 
NIS是一种新的机器学习框架，基于可逆神经网络来解决式6中提出的问题。其由三个组件组成：编码器、动力学学习器和解码器。它们分别用神经网络 <math>\psi_\alpha , f_\beta ,</math> 和<math>\psi_\alpha^{-1}</math> 表示，参数分别为<math>\alpha, \beta</math> 和<math>\alpha</math> 。整个框架如图1所示。接下来将分别描述每个模块。
第342行： 第332行：       −
=== 文章推荐===
+
===文章推荐===
 
*Zhang, J.; Liu, K. [https://www.mdpi.com/1099-4300/25/1/26 Neural Information Squeezer for Causal Emergence]. ''Entropy'' 2023, ''25'', 26.
 
*Zhang, J.; Liu, K. [https://www.mdpi.com/1099-4300/25/1/26 Neural Information Squeezer for Causal Emergence]. ''Entropy'' 2023, ''25'', 26.
  
LJR.json
68

个编辑

取自“https://wiki.swarma.org/index.php/特殊:移动版差异/35961”