打开主菜单
首页
随机
登录
设置
关于集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
免责声明
集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
搜索
更改
←上一编辑
下一编辑→
神经网络的有效信息计算
(查看源代码)
2025年2月21日 (五) 10:34的版本
删除32字节
、
2025年2月21日 (五) 10:34
→有效信息的近似计算
第140行:
第140行:
−
====
步骤2:计算雅可比矩阵
====
+
====
计算雅可比矩阵
====
雅可比矩阵 ∂_X μ(X) 描述输入对输出的局部敏感性,其元素为:
雅可比矩阵 ∂_X μ(X) 描述输入对输出的局部敏感性,其元素为:
∂_X μ(X) = [∂μ_i(X) / ∂x_j]_{n×m},
∂_X μ(X) = [∂μ_i(X) / ∂x_j]_{n×m},
第150行:
第150行:
−
====
步骤3:NIS框架下的有效信息计算公式
====
+
====
NIS框架下的有效信息计算公式
====
若存在至少一个输入点使 det(∂_X μ(X)) ≠ 0,则EI近似为:
若存在至少一个输入点使 det(∂_X μ(X)) ≠ 0,则EI近似为:
EI ≈ n ln(2L) - (m / 2) * (1 + ln(2π)) - (1 / 2) * Σ_{i=1}^m ln(σ_i^2) + E_{X ~ U} [ln |det(∂_X μ(X))|].
EI ≈ n ln(2L) - (m / 2) * (1 + ln(2π)) - (1 / 2) * Σ_{i=1}^m ln(σ_i^2) + E_{X ~ U} [ln |det(∂_X μ(X))|].
第163行:
第163行:
−
====
步骤4:蒙特卡洛采样实现期望计算
====
+
====
蒙特卡洛采样实现期望计算
====
数学期望 E_{X ~ U}[·] 通过以下步骤近似:
数学期望 E_{X ~ U}[·] 通过以下步骤近似:
1. 均匀采样:从输入空间 [-L, L]^n 随机采样 N 个点(如 N=1000)。
1. 均匀采样:从输入空间 [-L, L]^n 随机采样 N 个点(如 N=1000)。
相信未来
5,443
个编辑