综合信息理论(IIT)已被用于评估系统中联合效应与独立效应所包含的总信息(Tononi,2008)。它是因果分析的有用工具,分析网络因果结构中整合的信息量(Marshall等人,2017;Albantakis等人,2019)。以前,综合信息被衡量为给定分区的EI损失(Balduzzi和Tononi,2008),使EI成为综合信息的上限。然而,目前还没有一种公认的通用综合信息衡量标准(Oizumi等人,20142016)。相反,在不同的系统中提出了各种集成信息的措施(Tegmark,2016;Mediano等人,2019)。传统上,前馈网络中的集成信息量为零,因为没有可重入连接,因为它基于在系统的所有可能子集中找到最小信息分区。然而,即使在前馈网络中,一层的节点仍然可能对另一层产生不可约的联合效应,因此我们引入了一种度量,即前馈集成信息,应用于DNN。 图4:训练期间因果平面上的行为。在不同层次的因果平面上追踪的路径。在过拟合期间,所有路径随着时间的推移都会变得不那么平滑,在因果平面上的移动也会减少。与在MNIST任务上训练的网络相比,在更简单的Iris任务中训练的网络在层之间的差异更小。 | 综合信息理论(IIT)已被用于评估系统中联合效应与独立效应所包含的总信息(Tononi,2008)。它是因果分析的有用工具,分析网络因果结构中整合的信息量(Marshall等人,2017;Albantakis等人,2019)。以前,综合信息被衡量为给定分区的EI损失(Balduzzi和Tononi,2008),使EI成为综合信息的上限。然而,目前还没有一种公认的通用综合信息衡量标准(Oizumi等人,20142016)。相反,在不同的系统中提出了各种集成信息的措施(Tegmark,2016;Mediano等人,2019)。传统上,前馈网络中的集成信息量为零,因为没有可重入连接,因为它基于在系统的所有可能子集中找到最小信息分区。然而,即使在前馈网络中,一层的节点仍然可能对另一层产生不可约的联合效应,因此我们引入了一种度量,即前馈集成信息,应用于DNN。 图4:训练期间因果平面上的行为。在不同层次的因果平面上追踪的路径。在过拟合期间,所有路径随着时间的推移都会变得不那么平滑,在因果平面上的移动也会减少。与在MNIST任务上训练的网络相比,在更简单的Iris任务中训练的网络在层之间的差异更小。 |