3,094
个编辑
更改
跳到导航
跳到搜索
第27行：
第27行： − 首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1在最大熵<math>do(L_{1}=H^{\max})</math>处受到扰动，这意味着节点的所有激活都被迫进入随机选择的状态。<math>L_{1}=H^{\max}</math>最大限度地放大了L1中所有节点的同时和独立的最大熵扰动：+ 第35行：
第35行： − 这个公式表示在L1被最大熵扰动的情况下，L1和L2之间的互信息。+
→测量层与层之间的有效信息
=== 测量层与层之间的有效信息 ===
=== 测量层与层之间的有效信息 ===
首先我们介绍一种方法，用于测量深度神经网络中层与层之间的有效信息，从而捕捉一个层对另一个层的总联合效应。因此，我们从L1开始，L1是一组与L2有加权前馈连接的节点，我们假设所有节点都有一些激活函数，如sigmoid函数。为了测量EI，L1被干预为最大熵分布<math>do(L_{1}=H^{\max})</math>，这意味着节点的所有激活与否的状态组合都被赋予了同等的概率。EI衡量了在这一最大熵干预下，输入变量（[math]L_1[/math]）和输出变量（[math]L_2[/math]）彼此之间的互信息：
<math>
<math>
</math>
</math>
这个公式表示在L1被干预为最大熵分布的情况下，L1和L2之间的互信息。
===有效信息的计算===
===有效信息的计算===