打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年1月12日 (日) 05:03的版本
删除24字节
、
2025年1月12日 (日) 05:03
→有效信息的近似计算
第197行:
第197行:
特殊情况如下:
特殊情况如下:
−
1.
行列式为零的情况
+
1.
行列式为零的情况。当雅可比矩阵的行列式为零时,输出
<math>Y</math>
的分布在输入空间中没有对应点,导致边际熵无限大,但无有效输入扰动,因此有效信息为零。
−
当雅可比矩阵的行列式为零时,输出
<math>Y</math>
的分布在输入空间中没有对应点,导致边际熵无限大,但无有效输入扰动,因此有效信息为零:
+
2.输出变量完全独立的情况.
如果输出变量 <math>Y</math> 的每一维度相互独立,则雅可比矩阵为对角矩阵,其行列式为对角元素的乘积。此时,有效信息退化为简单的条件熵计算。
−
−
<math> EI = 0 </math>
−
−
2。输出变量完全独立的情况
−
如果输出变量 <math>Y</math> 的每一维度相互独立,则雅可比矩阵为对角矩阵,其行列式为对角元素的乘积。此时,有效信息退化为简单的条件熵计算。
最后,为了避免输入维度对有效信息计算的影响,引入了归一化指标,即维度归一化有效信息(Dimension-Averaged Effective Information, dEI):
最后,为了避免输入维度对有效信息计算的影响,引入了归一化指标,即维度归一化有效信息(Dimension-Averaged Effective Information, dEI):
相信未来
5,443
个编辑