第838行: |
第838行: |
| | | |
| 将这些扩展,等式(56)和(57),结合在一起我们得到 | | 将这些扩展,等式(56)和(57),结合在一起我们得到 |
− | H[R^'|R^] + H[S->1 | R^', R^] ≥ H[S' | S] + H[S->1|S',S] (58) | + | |
− | H[R^'|R^] - H[S' | S] ≥ H[S->1 | S', S] - H[S->1|R^', R^]。 | + | <math> |
| + | H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] + H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}',\hat{\mathcal{R}}] \ge H[\mathcal{S}' \vert \mathcal{S}] + H[\overset{\to 1}{S} \vert \mathcal{S}', \mathcal{S}] \tag{58} \\ |
| + | H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] - H[\mathcal{S}' \vert \mathcal{S}] \ge H[\overset{\to 1}{S} \vert \mathcal{S}', \mathcal{S}] - H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] . |
| + | </math> |
| | | |
| 从引理7,我们知道S = g(R^),因此这里有另一个函数g'从η状态的有序对到因果态的有序对:(S',S) = g'(R^',R^)。因此,等式(A14)表明 | | 从引理7,我们知道S = g(R^),因此这里有另一个函数g'从η状态的有序对到因果态的有序对:(S',S) = g'(R^',R^)。因此,等式(A14)表明 |
− | H[S->1|S',S] ≥ H[S->1|R^1|R^',R^]。(59) | + | |
| + | <math> |
| + | H[\overset{\to 1}{S} \vert \mathcal{S}',\mathcal{S}] \ge H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] \tag{59} . |
| + | </math> |
| | | |
| 因此,我们有 | | 因此,我们有 |
| | | |
− | H[S->1|S',S] - H[S->1|R^',R^] ≥ 0 | + | <math> |
− | H[R^'|R^] - H[S'|S] ≥ 0 | + | \begin{aligned} |
− | H[R^'|R^] ≥ H[S'|S]。(60) | + | H[\overset{\to 1}{S} \vert \mathcal{S}',\mathcal{S}] - H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] & \ge 0 \\ |
| + | H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] - H[\mathcal{S}' \vert \mathcal{S}] & \ge 0 \\ |
| + | H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] & \ge H[\mathcal{S}' \vert \mathcal{S}] . (60) |
| + | \end{aligned} |
| + | </math> |
| | | |
| 证毕。 | | 证毕。 |
第859行: |
第869行: |
| | | |
| 定义13(扩展熵)一个过程的扩展熵E是它的准无穷过去和准无穷未来之间的互信息。: | | 定义13(扩展熵)一个过程的扩展熵E是它的准无穷过去和准无穷未来之间的互信息。: |
− | E = I[S->;S<-]。(61) | + | |
| + | <math> |
| + | \mathbf{E} \equiv I[\overset{\to }{S};\overset{\leftarrow}{S}] . \tag{61} |
| + | </math> |
| | | |
| 扩展熵是经常使用的随机过程复杂度的测量方法,也出现过多个名字;例如,“预测信息”,“存储信息”,“有效测量复杂度”,凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了,E不是,通常意义上的,过程存储于内部的关于过去的记忆数量;一个用Cμ量化测量。 | | 扩展熵是经常使用的随机过程复杂度的测量方法,也出现过多个名字;例如,“预测信息”,“存储信息”,“有效测量复杂度”,凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了,E不是,通常意义上的,过程存储于内部的关于过去的记忆数量;一个用Cμ量化测量。 |
第865行: |
第878行: |
| 定理5(扩展的边界)统计复杂度是扩展熵E的边界: | | 定理5(扩展的边界)统计复杂度是扩展熵E的边界: |
| | | |
− | E≤Cμ,(62)
| + | <math> |
| + | \mathbf{E} \le C_μ , \tag{62} |
| + | </math> |
| | | |
| 带着等价条件当且仅当H[S|S->] = 0。 | | 带着等价条件当且仅当H[S|S->] = 0。 |
第871行: |
第886行: |
| 证明。E = I[S->;S<-] = H[S->] - H[S-> | S<-]并且,由于因果态的构造,H[S->|S<-] = H[S->|S],所以 | | 证明。E = I[S->;S<-] = H[S->] - H[S-> | S<-]并且,由于因果态的构造,H[S->|S<-] = H[S->|S],所以 |
| | | |
− | E = H[S->] - H[S->|S] = I[S->;S]。(63) | + | <math> |
| + | \mathbf{E} = H[\overset{\to }{S}] - H[\overset{\to }{S} \vert \mathcal{S}] = I[\overset{\to }{S};\mathcal{S}]. \tag{63} |
| + | </math> |
| | | |
| 所以有,自从两个变量间的互信息从不大于各自的信息量(等式(A9)),E ≤ H[S] = Cμ,带着等价条件当有仅当H[S|S->] = 0。证毕。 | | 所以有,自从两个变量间的互信息从不大于各自的信息量(等式(A9)),E ≤ H[S] = Cμ,带着等价条件当有仅当H[S|S->] = 0。证毕。 |
第881行: |
第898行: |
| 备注3。可能另一种描述什么是E所量度的是指出,由它的区块马尔可夫结构隐含假设,它接受序列区块作为状态。但即使对于区块马尔可夫源聚类,对于这种假设是适当的,扩展熵和统计复杂度量度不同种类的信息存储。参考文献【65】和【80】展现了在一维范围情形的R自旋系统,或者任何其他的区块马尔可夫源的区块配置是对因果态同构的。 | | 备注3。可能另一种描述什么是E所量度的是指出,由它的区块马尔可夫结构隐含假设,它接受序列区块作为状态。但即使对于区块马尔可夫源聚类,对于这种假设是适当的,扩展熵和统计复杂度量度不同种类的信息存储。参考文献【65】和【80】展现了在一维范围情形的R自旋系统,或者任何其他的区块马尔可夫源的区块配置是对因果态同构的。 |
| | | |
− | Cμ = E + Rhμ,(64)
| + | <math> |
| + | C_μ = \mathbf{E} + Rh_μ \ , \tag{64} |
| + | </math> |
| | | |
| 对于有限的R。只有对于零熵速率区块马尔可夫源将扩展熵,一个直接从序列区块数量估计,等同于统计复杂度,存储在过程中的记忆数量。这些源的例子包括周期过程,对于这类我们有Cμ = E = log2p,其中p是周期。 | | 对于有限的R。只有对于零熵速率区块马尔可夫源将扩展熵,一个直接从序列区块数量估计,等同于统计复杂度,存储在过程中的记忆数量。这些源的例子包括周期过程,对于这类我们有Cμ = E = log2p,其中p是周期。 |
| | | |
| 推论2 对于所有的预知竞争态R^, | | 推论2 对于所有的预知竞争态R^, |
− | E≤H[R^]. (65)
| + | |
| + | <math> |
| + | \mathbf{E} \le H[\hat{\mathcal{R}}] \ . \tag{65} |
| + | </math> |
| | | |
| 证明。这个直接遵循于定理2,自从H[R^]≥Cμ。证毕。 | | 证明。这个直接遵循于定理2,自从H[R^]≥Cμ。证毕。 |
| | | |
| 引理8(条件不影响熵速率)对于所有预知竞争态R^, | | 引理8(条件不影响熵速率)对于所有预知竞争态R^, |
− | h[S->] = h[S-> | R^],(66) | + | |
| + | <math> |
| + | h[\overset{\to }{S}] = h[\overset{\to }{S} \vert \hat{\mathcal{R}}] \ , \tag{66} |
| + | </math> |
| | | |
| 其中熵速率h[S->]和条件熵速率h[S->|R^]已经定义在等式(9)和等式(10),相应地。 | | 其中熵速率h[S->]和条件熵速率h[S->|R^]已经定义在等式(9)和等式(10),相应地。 |
第897行: |
第922行: |
| 证明。从定理5和推论2,我们得出 | | 证明。从定理5和推论2,我们得出 |
| | | |
− | limL->∞(H[S->L] - H[S->L | R^]) ≤ limL->∞H[R^], (67)
| + | <math> |
| + | \lim_{L\to \infty}\left(H[\overset{\to L}{S}] - H[\overset{\to L}{S} \vert \hat{\mathcal{R}}]\right) \le \lim_{L\to \infty}H[\hat{\mathcal{R}}] \ , \tag{67} |
| + | </math> |
| | | |
| 或者, | | 或者, |
| | | |
− | limL->∞ H[S->L] - H[S->L | R^] / L ≤ lim L->∞ H[R^]/L。(68)
| + | <math> |
| + | \lim_{L\to \infty}\frac{H[\overset{\to L}{S}] - H[\overset{\to L}{S} \vert \hat{\mathcal{R}}]}{L} \le \lim_{L\to \infty}\frac{H[\hat{\mathcal{R}}]}{L} \ . \tag{68} |
| + | </math> |
| | | |
| 自从,由等式(A4),H[S->L] - H[S->L | R^] ≥ 0,得出 | | 自从,由等式(A4),H[S->L] - H[S->L | R^] ≥ 0,得出 |
| | | |
− | h[S->] - h[S-> | R^] = 0。 (69) | + | <math> |
| + | h[\overset{\to }{S}] - h[\overset{\to }{S} \vert \hat{\mathcal{R}}] = 0 \ . \tag{69} |
| + | </math> |
| | | |
| 证毕。 | | 证毕。 |