更改

添加12字节 、 2024年7月20日 (星期六)
第192行: 第192行:     
该方法避开讨论粗粒化策略。但是也存在很多缺点:1)该方法提出的三个指标 ,<math>\mathrm{\Psi} </math> ,<math>\mathrm{\Delta} </math> 和<math>\mathrm{\Gamma} </math>只是基于互信息计算没有考虑因果,同时该方法得到的仅仅是发生因果涌现的充分条件;2)该方法无法得到显式的宏观动力学以及粗粒化策略,然而这两项对于下游的任务往往十分重要;3)当系统具有大量冗余信息或具有许多变量时,该方法的计算复杂度仍然很高。因此,该方法不是一种最优的方法,基于数据驱动的神经信息压缩方法应运而生。
 
该方法避开讨论粗粒化策略。但是也存在很多缺点:1)该方法提出的三个指标 ,<math>\mathrm{\Psi} </math> ,<math>\mathrm{\Delta} </math> 和<math>\mathrm{\Gamma} </math>只是基于互信息计算没有考虑因果,同时该方法得到的仅仅是发生因果涌现的充分条件;2)该方法无法得到显式的宏观动力学以及粗粒化策略,然而这两项对于下游的任务往往十分重要;3)当系统具有大量冗余信息或具有许多变量时,该方法的计算复杂度仍然很高。因此,该方法不是一种最优的方法,基于数据驱动的神经信息压缩方法应运而生。
[[文件:信息分解猕猴例子.png|居中|缩略图|猕猴脑实验]]
+
[[文件:信息分解猕猴例子.png|居中|400x400像素|缩略图|猕猴脑实验]]
 
为了验证猕猴运动有关的信息是其皮层活动的一个涌现特征,Rosas等做了如下实验:基于猕猴的皮质脑电图(ECoG)和动作捕捉(MoCap)数据,其中 ECoG 和 MoCap 分别由 64 个通道和 3 个通道的数据构成微观和宏观数据;由于最原始的 MoCap 数据不满足随附特征的条件独立假设,因此,他们利用[[偏最小二乘]]和[[支持向量机]]算法,推断出与预测猕猴行为有关的编码在 ECoG 信号中的那部分神经活动,并推测该信息是潜在神经活动的涌现特征;基于计算所得宏观特征与微观状态,验证了因果涌现的存在。
 
为了验证猕猴运动有关的信息是其皮层活动的一个涌现特征,Rosas等做了如下实验:基于猕猴的皮质脑电图(ECoG)和动作捕捉(MoCap)数据,其中 ECoG 和 MoCap 分别由 64 个通道和 3 个通道的数据构成微观和宏观数据;由于最原始的 MoCap 数据不满足随附特征的条件独立假设,因此,他们利用[[偏最小二乘]]和[[支持向量机]]算法,推断出与预测猕猴行为有关的编码在 ECoG 信号中的那部分神经活动,并推测该信息是潜在神经活动的涌现特征;基于计算所得宏观特征与微观状态,验证了因果涌现的存在。
    
Kaplanis等人<ref name=":2" />基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>:使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>,同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。
 
Kaplanis等人<ref name=":2" />基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>:使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>,同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。
[[文件:LCCR.png|居中|500x500像素|替代=NIS模型框架图|学习因果涌现表征的架构|缩略图]]
+
[[文件:LCCR.png|居中|400x400像素|替代=NIS模型框架图|学习因果涌现表征的架构|缩略图]]
 
  −
 
      
====神经信息压缩方法====
 
====神经信息压缩方法====
1,881

个编辑