打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年3月3日 (一) 18:49的版本
删除15字节
、
2025年3月3日 (一) 18:49
无编辑摘要
第117行:
第117行:
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。
<math>-\frac{m}{2} \left(1 + \ln(2\pi)\right)</math> 为输出维度惩罚。输出维度 <math>m</math> 越高,信息分散到更多维度,EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。
<math>-\frac{1}{2} \sum_{i=1}^m \ln(\sigma_i^2)</math> 为噪声惩罚。噪声标准差 <math>\sigma_i</math> 越大,输出不确定性越高,EI降低。
−
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math>
为敏感度增益。
(<math>n=m</math>
可求雅可比行列式值,若不等求其广义行列式
)
其中雅可比行列式对数的期望值,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
+
<math>\mathbb{E}[\ln |\det(\partial_X \mu)|]</math>
为敏感度增益。其中雅可比行列式对数的期望值
(<math>n=m</math>
可直接求,若不等求其广义行列式
)
,衡量网络对输入变化的全局敏感性。行列式绝对值越大,EI越高。
==== 蒙特卡洛采样实现期望计算====
==== 蒙特卡洛采样实现期望计算====
相信未来
5,443
个编辑