更改

神经网络的有效信息计算 (查看源代码)

删除546字节、 2025年6月14日 (六) 11:25

无编辑摘要

第105行：第105行：

其中 <math>b_i</math> 为第 <math>i</math> 维输出的误差，可以由输出神经元的平均绝对误差（Mean Absolute Error，MAE误差）或经由[[梯度反传算法]]计算得到。

−

~~==== 计算雅可比矩阵====~~

−

~~雅可比矩阵 <math>\partial_X \mu(X)</math> 描述输入对输出的局部敏感性，其元素为：~~

−

~~<math> \partial_X \mu(X) = \left[ \frac{\partial \mu_i(X)}{\partial x_j} \right]_{n \times m}, </math>~~

−

~~即第 <math>i</math> 个输出对第 <math>j</math> 个输入的偏导数矩阵。~~

−

~~关键作用：~~

−

~~行列式 <math>\det(\partial_X \mu(X))</math> 反映输入变化对输出的整体影响强度。~~

−

~~若行列式在所有输入点均为零，则EI为零（网络无法区分不同输入）。~~

==== 有效信息计算公式====

3,094

个编辑