786
个编辑
更改
跳到导航
跳到搜索
第614行：
第614行： − + − 现实中大部分系统都要在连续空间上考虑，所以很有必要将EI的概念拓展到连续系统上。最初Erik Hoel考虑到了这一点，提出了[[因果几何]]，旨在对形如<math>y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)</math>的动力学能够度量有效信息的大小。然而连续变量的信息度量和离散上的信息指标性质很不相同，经过数学推导，我们发现连续变量的有效信息依赖于观测噪音以及干预噪音。+ + + + + + + + + + + + + 第751行：
第763行： +
→连续变量的EI
=连续变量的EI=
=连续变量的EI=
==随机映射系统==
现实中大部分系统都要在连续空间上考虑，所以很有必要将EI的概念拓展到连续系统上。
这种扩展的核心思想是将连续空间中的因果机制简化为一个确定性的函数映射[math]f(X)[/math]再加上一个噪声随机变量[math]\xi[/math]。而且，在下面列举的情形中，[math]\xi\sim \mathcal{N}(0,\Sigma)[/math]，即满足高斯分布，这样便可求得EI的解析表达式。对于更一般的情况，尚没有文献进行讨论。
==随机函数映射==
最初Erik Hoel考虑到了这一点，提出了[[因果几何]]<ref name=causal_geometry />框架，它不仅率先讨论了随机函数映射的EI计算问题，同时还引入了干预噪音和[[因果几何]]的概念，并等级地定义了EI的局部形式，并将这种形式与[[信息几何]]进行了对照和类比。下面，我们分别从一维函数映射、多维函数映射，和EI的局部形式来分别进行讨论。
===一维函数映射===
首先，我们考虑最简单的情况：
<math>
y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)
</math>
其中，[math]x,y\in \mathcal{R}[/math]都是一维实数变量。我们计算这个随机映射的有效信息为：
如果只存在观测噪声，设干预空间大小为<math>L
如果只存在观测噪声，设干预空间大小为<math>L
其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式
其中<math>U\left(\left[-L, L\right]^n\right) </math>表示范围在<math>\left[-L ,L\right] </math>上的<math>n </math>维均匀分布，<math>\sigma_i </math>是输出<math>y_i </math>的标准差，可以通过<math>y_i </math>的均方误差来估计，<math>\det </math>表示函数<math>f </math>的雅可比行列式
*当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>
*当对于所有的<math>x</math>，<math>\partial_{x'}f(x)</math>为0矩阵时: <math>\begin{gathered}EI(f)\approx\end{gathered}0</math>
=EI与其它相关主题=
=EI与其它相关主题=
==EI与整合信息论==
==EI与整合信息论==