225
个编辑
更改
跳到导航
跳到搜索
第567行：
第567行： − + + + + + + + + + + + + + + + + 第575行：
第590行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→随机迭代系统
==随机映射系统==
==随机映射系统==
现实中大部分系统都要在连续空间上考虑，所以很有必要将EI的概念拓展到连续系统上。最初Erik Hoel考虑到了这一点，提出了[[因果几何]]，旨在对形如<math>y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)</math>的动力学能够度量有效信息的大小。然而连续变量的信息度量和离散上的信息指标性质很不相同，经过数学推导，我们发现连续变量的有效信息依赖于观测噪音以及干预噪音。其数学形式如下所示。
现实中大部分系统都要在连续空间上考虑，所以很有必要将EI的概念拓展到连续系统上。最初Erik Hoel考虑到了这一点，提出了[[因果几何]]，旨在对形如<math>y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2)</math>的动力学能够度量有效信息的大小。然而连续变量的信息度量和离散上的信息指标性质很不相同，经过数学推导，我们发现连续变量的有效信息依赖于观测噪音以及干预噪音。
如果只存在观测噪声，<math>L=1
</math>，<math>\epsilon\ll 1
</math>，有效信息EI为：
<math>EI \approx \ln(\frac{L}{\sqrt{2\pi e}})+\frac{1}{2L}\int_{-L/2}^{L/2}\ln \left(\frac{f'(x)}{\epsilon}\right)^2dx.
</math>
如果同时考虑两种噪声，并且如果<math>L=1
</math>和<math>\epsilon\ll 1
</math>，EI数学形式如下所示
<math>EI\approx -\frac{1}{2}\int_{-1/2}^{1/2}\ln\left[\left(\frac{\epsilon}{f'(x)}\right)^2+\delta^2\right]dx.
<math>EI\approx -\frac{1}{2}\int_{-1/2}^{1/2}\ln\left[\left(\frac{\epsilon}{f'(x)}\right)^2+\delta^2\right]dx.
==随机迭代系统==
==随机迭代系统==
对于形如
<math>
x_{t+1}=Ax_t+\varepsilon_t, A\in\mathcal{R}^{n\times n}, \varepsilon_t\sim\mathcal{N}(0,\Sigma), ${\rm rk}(A)={\rm rk}(\Sigma)=n
</math>
的迭代系统，对于单步的映射我们可以得到有效信息
<math>
\mathcal{J}(A,\Sigma)\equiv \frac{EI(A,\Sigma)}{n}=\frac{1}{n}\ln\displaystyle\frac{|\det(A)|L^n}{(2\pi e)^\frac{n}{2}\displaystyle \det(\Sigma)^\frac{1}{2}}=\ln\displaystyle\frac{|\det(A)|^\frac{1}{n}L}{(2\pi e)^\frac{1}{2}\displaystyle \det(\Sigma)^\frac{1}{2n}}.
</math>
随即迭代系统的有效信息可以分解确定性和简并性为两项，
<math>
\mathcal{J}=\mathcal{J}_1-\mathcal{J}_2
</math>
确定性
<math>
\mathcal{J}_1\equiv-\left<H(p(x_{t+1}|x_t))\right>=-\ln\left[(2\pi e)^\frac{n}{2}\det(\Sigma)^\frac{1}{2}\right]
</math>
描述系统前一时刻状态已知的情况下，后一时刻的随机性，确定性越强，随机性越小，越容易对系统未来趋势进行预测。
简并性
<math>
\mathcal{J}_2\equiv-H(E_D(x_{t+1}))=-\ln\left(|det(A)|L^n\right)
</math>
描述后一时刻已知的情况下，对前一时刻的可追溯性，简并性越弱，系统越容易推断系统以往的演化路径。
确定性越强，简并性越弱，有效信息则会越大，因果效应越强。
宏观有效信息与微观有效信息做差之后就可以得到随即迭代系统的因果涌现。而微观、宏观的确定性和简并性分别做差就可以得到确定性、简并性涌现。
==前馈神经网络==
==前馈神经网络==
针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，张江等人推导出了前馈神经网络有效信息的计算公式，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，其中<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布，我们可以给出神经网络有效信息的一般计算公式：
针对复杂系统自动建模任务，我们往往使用神经网络来建模系统动力学。具体的，对于前馈神经网络来说，张江等人推导出了前馈神经网络有效信息的计算公式，其中神经网络的输入是<math>x(x_1,...,x_n)</math>，输出是<math>y(y_1,...,y_n)</math>，其中<math>y=f(x)</math>，<math>f</math>是由神经网络实现的确定性映射。通过将神经网络看作是给定输入<math>x</math>的条件高斯分布，我们可以给出神经网络有效信息的一般计算公式：