第730行: |
第730行: |
| --> | | --> |
| | | |
− | ==维度平均的EI与因果涌现== | + | ==维度平均的EI== |
| | | |
− | 归一化的EI是除以[math]\log N[/math],这里[math]N=\#(\mathcal{X})[/math]为离散状态空间[math]\mathcal{X}[/math]中的元素个数。
| + | 在离散状态的系统中,当我们比较不同尺度系统的时候,可以直接计算EI的差异也可以计算归一化的EI差异。归一化的EI是除以[math]\log N[/math],这里[math]N=\#(\mathcal{X})[/math]为离散状态空间[math]\mathcal{X}[/math]中的元素个数。 |
| | | |
− | 然而,在针对连续变量的扩展中,状态空间的元素个数为无穷大。一种解决办法是将空间的体积视作个数N,因此应该除以归一化变量为:[math]n \log L[/math],由此可见它是正比于n和log L的。
| + | 然而,在针对连续变量进行扩展的时候,如果使用原始的EI,那么就会出现不合理的情况。首先,如公式{{EquationNote|5}}所示,EI的计算公式中包含着[math]log L^n[/math]项。由于L为一个很大的正数,因而EI的计算结果将会受到L的严重影响。其次,如果计算归一化的EI,即Eff,那么会遇到一个问题是,对于连续变量来说,其状态空间的元素个数为无穷多个,如果直接使用,势必会引入无穷大量。一种解决办法是将空间的体积视作个数N,因此应该除以归一化变量为:[math]n \log L[/math],由此可见它是正比于n和log L的,即: |
| | | |
− | 在[[神经信息压缩器]](Neural information squeezer, NIS)的框架被提出时<ref name=zhang_nis />,作者们发明了另一种有效信息的归一化方式,即用状态空间维数来归一化EI,从而解决连续状态变量上的EI比较问题,这一指标被称为'''维度求平均的有效信息'''(Dimension Averaged Effective Information,简称dEI)。其描述为: | + | <math> |
| + | Eff=\frac{EI}{\ln L^n}\approx 1-\frac{m\ln\left(2\pi e\right)}{2n \ln L}+\frac{1}{2n\ln L}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2 d\mathbf{x}, |
| + | </math> |
| + | |
| + | 然而,在这个式子中,仍然包含着L项,因而也会对Eff造成很大的影响。并且,当我们比较微观(n维)和宏观(m维,且m<n)两个维度的Eff时,即计算归一化的因果涌现的时候,L并不能消掉。 |
| + | |
| + | 看来,连续变量系统的归一化问题并不能简单平移离散变量的结果。 |
| + | |
| + | 在[[神经信息压缩器]](Neural information squeezer, NIS)的框架被提出时<ref name=zhang_nis />,作者们发明了另一种对连续变量的有效信息进行归一化方式,即用状态空间维数来归一化EI,从而解决连续状态变量上的EI比较问题,这一指标被称为'''维度求平均的有效信息'''(Dimension Averaged Effective Information,简称dEI)。其描述为: |
| | | |
| <math> | | <math> |
第743行: |
第751行: |
| | | |
| 这里,[math]n[/math]为状态空间的维度。可以证明,在离散的状态空间中,'''维度平均的EI'''和'''有效性'''指标实际上是等价的。关于连续变量上的EI,我们将在下文进一步详述。 | | 这里,[math]n[/math]为状态空间的维度。可以证明,在离散的状态空间中,'''维度平均的EI'''和'''有效性'''指标实际上是等价的。关于连续变量上的EI,我们将在下文进一步详述。 |
| + | |
| + | 对于n维迭代动力系统来说,首先,[math]\mathbf{y}[/math]和[math]\mathbf{x}[/math]是同一维度的变量,因此[math]m=n[/math],因而:将公式{{EquationNote|5}}代入维度平均EI,得到: |
| + | |
| + | <math> |
| + | \mathcal{J}=\frac{EI}{n}\approx \ln L - \frac{1}{2}\ln (2\pi e)+\frac{1}{2n}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2 d\mathbf{x} |
| + | </math> |
| + | |
| + | 虽然L仍然没有消失,但是当我们计算维度平均的因果涌现的时候,即假设我们可以将n维的状态变量[math]\mathbf{x}_t[/math]投影到一个N维的宏观态变量[math]\mathbf{X}_t[/math],以及相对应的宏观动力学(F),和噪声的协方差[math]\Sigma_N[/math]则宏观动力学的维度平均EI与微观动力学的维度平均EI之差为: |
| + | |
| + | <math> |
| + | Eff_F-Eff_f=\frac{EI}{N}-\frac{EI}{n}\approx \frac{N}{n}\int_{-\frac{L}{2}}^{\frac{L}{2}}\ln\frac{\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2}{\left|\det\left(\frac{\partial_\mathbf{X} F(\mathbf{X})}{\Sigma_N^{1/2}}\right)\right|^2} d\mathbf{x} |
| + | </math> |
| + | |
| + | 由此可见,该式中的L项就被约掉了。这就展示出来引入维度平均EI的合理性。 |
| | | |
| ==随机迭代系统== | | ==随机迭代系统== |