更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年1月12日 (日) 05:03的版本
删除24字节
、
2025年1月12日 (日) 05:03
→有效信息的近似计算
第197行:
第197行:
特殊情况如下:
特殊情况如下:
−
1.
行列式为零的情况
+
1.
行列式为零的情况。当雅可比矩阵的行列式为零时,输出
<math>Y</math>
的分布在输入空间中没有对应点,导致边际熵无限大,但无有效输入扰动,因此有效信息为零。
−
当雅可比矩阵的行列式为零时,输出
<math>Y</math>
的分布在输入空间中没有对应点,导致边际熵无限大,但无有效输入扰动,因此有效信息为零:
+
2.输出变量完全独立的情况.
如果输出变量 <math>Y</math> 的每一维度相互独立,则雅可比矩阵为对角矩阵,其行列式为对角元素的乘积。此时,有效信息退化为简单的条件熵计算。
−
−
<math> EI = 0 </math>
−
−
2。输出变量完全独立的情况
−
如果输出变量 <math>Y</math> 的每一维度相互独立,则雅可比矩阵为对角矩阵,其行列式为对角元素的乘积。此时,有效信息退化为简单的条件熵计算。
最后,为了避免输入维度对有效信息计算的影响,引入了归一化指标,即维度归一化有效信息(Dimension-Averaged Effective Information, dEI):
最后,为了避免输入维度对有效信息计算的影响,引入了归一化指标,即维度归一化有效信息(Dimension-Averaged Effective Information, dEI):
相信未来
5,443
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本