712
个编辑
更改
→维度平均的EI与因果涌现
-->
-->
==维度平均的EI与因果涌现==
==维度平均的EI==
在离散状态的系统中，当我们比较不同尺度系统的时候，可以直接计算EI的差异也可以计算归一化的EI差异。归一化的EI是除以[math]\log N[/math]，这里[math]N=\#(\mathcal{X})[/math]为离散状态空间[math]\mathcal{X}[/math]中的元素个数。
然而，在针对连续变量进行扩展的时候，如果使用原始的EI，那么就会出现不合理的情况。首先，如公式{{EquationNote|5}}所示，EI的计算公式中包含着[math]log L^n[/math]项。由于L为一个很大的正数，因而EI的计算结果将会受到L的严重影响。其次，如果计算归一化的EI，即Eff，那么会遇到一个问题是，对于连续变量来说，其状态空间的元素个数为无穷多个，如果直接使用，势必会引入无穷大量。一种解决办法是将空间的体积视作个数N，因此应该除以归一化变量为：[math]n \log L[/math]，由此可见它是正比于n和log L的，即：
在[[神经信息压缩器]]（Neural information squeezer, NIS）的框架被提出时<ref name=zhang_nis />，作者们发明了另一种有效信息的归一化方式，即用状态空间维数来归一化EI，从而解决连续状态变量上的EI比较问题，这一指标被称为'''维度求平均的有效信息'''（Dimension Averaged Effective Information，简称dEI）。其描述为：
<math>
Eff=\frac{EI}{\ln L^n}\approx 1-\frac{m\ln\left(2\pi e\right)}{2n \ln L}+\frac{1}{2n\ln L}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2 d\mathbf{x},
</math>
然而，在这个式子中，仍然包含着L项，因而也会对Eff造成很大的影响。并且，当我们比较微观（n维）和宏观（m维，且m<n）两个维度的Eff时，即计算归一化的因果涌现的时候，L并不能消掉。
看来，连续变量系统的归一化问题并不能简单平移离散变量的结果。
在[[神经信息压缩器]]（Neural information squeezer, NIS）的框架被提出时<ref name=zhang_nis />，作者们发明了另一种对连续变量的有效信息进行归一化方式，即用状态空间维数来归一化EI，从而解决连续状态变量上的EI比较问题，这一指标被称为'''维度求平均的有效信息'''（Dimension Averaged Effective Information，简称dEI）。其描述为：
<math>
<math>
这里，[math]n[/math]为状态空间的维度。可以证明，在离散的状态空间中，'''维度平均的EI'''和'''有效性'''指标实际上是等价的。关于连续变量上的EI，我们将在下文进一步详述。
这里，[math]n[/math]为状态空间的维度。可以证明，在离散的状态空间中，'''维度平均的EI'''和'''有效性'''指标实际上是等价的。关于连续变量上的EI，我们将在下文进一步详述。
对于n维迭代动力系统来说，首先，[math]\mathbf{y}[/math]和[math]\mathbf{x}[/math]是同一维度的变量，因此[math]m=n[/math]，因而：将公式{{EquationNote|5}}代入维度平均EI，得到：
<math>
\mathcal{J}=\frac{EI}{n}\approx \ln L - \frac{1}{2}\ln (2\pi e)+\frac{1}{2n}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2 d\mathbf{x}
</math>
虽然L仍然没有消失，但是当我们计算维度平均的因果涌现的时候，即假设我们可以将n维的状态变量[math]\mathbf{x}_t[/math]投影到一个N维的宏观态变量[math]\mathbf{X}_t[/math]，以及相对应的宏观动力学(F)，和噪声的协方差[math]\Sigma_N[/math]则宏观动力学的维度平均EI与微观动力学的维度平均EI之差为：
<math>
Eff_F-Eff_f=\frac{EI}{N}-\frac{EI}{n}\approx \frac{N}{n}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\frac{\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2}{\left|\det\left(\frac{\partial_\mathbf{X} F(\mathbf{X})}{\Sigma_N^{1/2}}\right)\right|^2} d\mathbf{x}
</math>
由此可见，该式中的L项就被约掉了。这就展示出来引入维度平均EI的合理性。
==随机迭代系统==
==随机迭代系统==