更改
跳到导航
跳到搜索
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年1月12日 (日) 04:28的版本
删除20字节
、
2025年1月12日 (日) 04:28
→有效信息计算方法
第137行:
第137行:
公式中:
公式中:
−
-
<math>\mu(X)</math> 为神经网络实现的映射函数。
+
<math>\mu(X)</math> 为神经网络实现的映射函数。
−
-
<math>\frac{\partial \mu}{\partial X}</math> 表示雅可比矩阵。
+
<math>\frac{\partial \mu}{\partial X}</math> 表示雅可比矩阵。
−
-
<math>\sigma_i^2</math> 是高斯分布的方差,反映预测不确定性。
+
<math>\sigma_i^2</math> 是高斯分布的方差,反映预测不确定性。
−
-
<math>n</math> 和 <math>m</math> 分别表示输入与输出维度。
+
<math>n</math> 和 <math>m</math> 分别表示输入与输出维度。
−
-
<math>L</math> 是输入变量的取值范围。
+
<math>L</math> 是输入变量的取值范围。
−
为了避免高维度对EI计算的影响,NIS框架引入了维度归一化有效信息(Dimension Averaged Effective Information,
dEI)**。其定义为:
+
为了避免高维度对EI计算的影响,NIS框架引入了维度归一化有效信息(Dimension Averaged Effective Information,
dEI)。其定义为:
<math>
<math>
第155行:
第155行:
通过最小化预测误差约束粗粒化策略,目标函数为:
通过最小化预测误差约束粗粒化策略,目标函数为:
−
<math>
+
<math>L = \sum_t ||\hat{x}_{t+1} - x_{t+1}||_l</math>
−
L = \sum_t ||\hat{x}_{t+1} - x_{t+1}||_l
−
</math>
其中,<math>||\cdot||_l</math> 表示 <math>l</math>-范数,通常选择二次误差。
其中,<math>||\cdot||_l</math> 表示 <math>l</math>-范数,通常选择二次误差。
相信未来
5,443
个编辑
导航菜单
个人工具
登录
名字空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
集智百科
集智主页
集智斑图
集智学园
最近更改
所有页面
捐赠我们
帮助
工具
特殊页面
可打印版本