| 第82行: |
第82行: |
| | | | |
| | 简并性反映了网络中因果关系的冗余程度。 | | 简并性反映了网络中因果关系的冗余程度。 |
| − |
| |
| − | ===外推法估计有效信息===
| |
| − |
| |
| − | 使用推法来估计EI。具体公式为:
| |
| − |
| |
| − | <math>
| |
| − | EI_{\text{parts}}(s) = \frac{A}{s^\alpha} + C
| |
| − | </math>
| |
| − |
| |
| − | 其中:
| |
| − | <math>s</math> 是样本数量。
| |
| − | <math>A</math>、<math>\alpha</math> 和 <math>C</math> 是通过拟合实验数据得到的参数。
| |
| − |
| |
| − | 通过拟合少量样本的 EI 值,可以外推出大样本下的 EI 值。
| |
| − |
| |
| − | 通过以上这些步骤,EI 能够量化神经网络中层与层之间的因果关系,并揭示网络在训练过程中因果结构的变化。
| |
| | | | |
| | =基于NIS框架的有效信息计算= | | =基于NIS框架的有效信息计算= |