更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年3月3日 (一) 18:49的版本
删除15字节
、
2025年3月3日 (一) 18:49
无编辑摘要
第117行:
第117行:
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。
−
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math>
为敏感度增益。
(<math>n=m</math>
可求雅可比行列式值,若不等求其广义行列式
)
其中雅可比行列式对数的期望值,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
+
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math>
为敏感度增益。其中雅可比行列式对数的期望值
(<math>n=m</math>
可直接求,若不等求其广义行列式
)
,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
==== 蒙特卡洛采样实现期望计算====
==== 蒙特卡洛采样实现期望计算====
相信未来
5,443
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本