470
个编辑
更改
跳到导航
跳到搜索
小第838行：
第838行： − + − + + + + − + + + + − + − + − + + + + + 第859行：
第869行： − + + + + 第865行：
第878行： − E≤Cμ，（62）+ + + 第871行：
第886行： − + + + 第881行：
第898行： − Cμ = E + Rhμ，（64）+ + + − E≤H[R^]. (65)+ + + + − + + + + 第897行：
第922行： − limL->∞(H[S->L] - H[S->L | R^]) ≤ limL->∞H[R^], （67）+ + + − limL->∞ H[S->L] - H[S->L | R^] / L ≤ lim L->∞ H[R^]/L。（68）+ + + − + + +
将公式整理至69
将这些扩展，等式（56）和（57），结合在一起我们得到
将这些扩展，等式（56）和（57），结合在一起我们得到
H[R^'|R^] + H[S->1 | R^', R^] ≥ H[S' | S] ＋ H[S->1|S',S] (58)
H[R^'|R^] - H[S' | S] ≥ H[S->1 | S', S] - H[S->1|R^', R^]。
<math>
H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] + H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}',\hat{\mathcal{R}}] \ge H[\mathcal{S}' \vert \mathcal{S}] + H[\overset{\to 1}{S} \vert \mathcal{S}', \mathcal{S}] \tag{58} \\
H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] - H[\mathcal{S}' \vert \mathcal{S}] \ge H[\overset{\to 1}{S} \vert \mathcal{S}', \mathcal{S}] - H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] .
</math>
从引理7，我们知道S = g(R^)，因此这里有另一个函数g'从η状态的有序对到因果态的有序对：(S',S) = g'(R^',R^)。因此，等式（A14）表明
从引理7，我们知道S = g(R^)，因此这里有另一个函数g'从η状态的有序对到因果态的有序对：(S',S) = g'(R^',R^)。因此，等式（A14）表明
H[S->1|S',S] ≥ H[S->1|R^1|R^',R^]。（59）
<math>
H[\overset{\to 1}{S} \vert \mathcal{S}',\mathcal{S}] \ge H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] \tag{59} .
</math>
因此，我们有
因此，我们有
H[S->1|S',S] - H[S->1|R^',R^] ≥ 0
<math>
H[R^'|R^] - H[S'|S] ≥ 0
\begin{aligned}
H[R^'|R^] ≥ H[S'|S]。（60）
H[\overset{\to 1}{S} \vert \mathcal{S}',\mathcal{S}] - H[\overset{\to 1}{S} \vert \hat{\mathcal{R}}', \hat{\mathcal{R}}] & \ge 0 \\
H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] - H[\mathcal{S}' \vert \mathcal{S}] & \ge 0 \\
H[\hat{\mathcal{R}}' \vert \hat{\mathcal{R}}] & \ge H[\mathcal{S}' \vert \mathcal{S}] . (60)
\end{aligned}
</math>
证毕。
证毕。
定义13（扩展熵）一个过程的扩展熵E是它的准无穷过去和准无穷未来之间的互信息。：
定义13（扩展熵）一个过程的扩展熵E是它的准无穷过去和准无穷未来之间的互信息。：
E = I[S->;S<-]。（61）
<math>
\mathbf{E} \equiv I[\overset{\to }{S};\overset{\leftarrow}{S}] . \tag{61}
</math>
扩展熵是经常使用的随机过程复杂度的测量方法，也出现过多个名字；例如，“预测信息”，“存储信息”，“有效测量复杂度”，凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了，E不是，通常意义上的，过程存储于内部的关于过去的记忆数量；一个用Cμ量化测量。
扩展熵是经常使用的随机过程复杂度的测量方法，也出现过多个名字；例如，“预测信息”，“存储信息”，“有效测量复杂度”，凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了，E不是，通常意义上的，过程存储于内部的关于过去的记忆数量；一个用Cμ量化测量。
定理5（扩展的边界）统计复杂度是扩展熵E的边界：
定理5（扩展的边界）统计复杂度是扩展熵E的边界：
<math>
\mathbf{E} \le C_μ , \tag{62}
</math>
带着等价条件当且仅当H[S|S->] = 0。
带着等价条件当且仅当H[S|S->] = 0。
证明。E = I[S->;S<-] = H[S->] - H[S-> | S<-]并且，由于因果态的构造，H[S->|S<-] = H[S->|S]，所以
证明。E = I[S->;S<-] = H[S->] - H[S-> | S<-]并且，由于因果态的构造，H[S->|S<-] = H[S->|S]，所以
E = H[S->] - H[S->|S] = I[S->;S]。（63）
<math>
\mathbf{E} = H[\overset{\to }{S}] - H[\overset{\to }{S} \vert \mathcal{S}] = I[\overset{\to }{S};\mathcal{S}]. \tag{63}
</math>
所以有，自从两个变量间的互信息从不大于各自的信息量（等式（A9）），E ≤ H[S] = Cμ，带着等价条件当有仅当H[S|S->] = 0。证毕。
所以有，自从两个变量间的互信息从不大于各自的信息量（等式（A9）），E ≤ H[S] = Cμ，带着等价条件当有仅当H[S|S->] = 0。证毕。
备注3。可能另一种描述什么是E所量度的是指出，由它的区块马尔可夫结构隐含假设，它接受序列区块作为状态。但即使对于区块马尔可夫源聚类，对于这种假设是适当的，扩展熵和统计复杂度量度不同种类的信息存储。参考文献【65】和【80】展现了在一维范围情形的R自旋系统，或者任何其他的区块马尔可夫源的区块配置是对因果态同构的。
备注3。可能另一种描述什么是E所量度的是指出，由它的区块马尔可夫结构隐含假设，它接受序列区块作为状态。但即使对于区块马尔可夫源聚类，对于这种假设是适当的，扩展熵和统计复杂度量度不同种类的信息存储。参考文献【65】和【80】展现了在一维范围情形的R自旋系统，或者任何其他的区块马尔可夫源的区块配置是对因果态同构的。
<math>
C_μ = \mathbf{E} + Rh_μ \ , \tag{64}
</math>
对于有限的R。只有对于零熵速率区块马尔可夫源将扩展熵，一个直接从序列区块数量估计，等同于统计复杂度，存储在过程中的记忆数量。这些源的例子包括周期过程，对于这类我们有Cμ = E = log2p，其中p是周期。
对于有限的R。只有对于零熵速率区块马尔可夫源将扩展熵，一个直接从序列区块数量估计，等同于统计复杂度，存储在过程中的记忆数量。这些源的例子包括周期过程，对于这类我们有Cμ = E = log2p，其中p是周期。
推论2 对于所有的预知竞争态R^，
推论2 对于所有的预知竞争态R^，
<math>
\mathbf{E} \le H[\hat{\mathcal{R}}] \ . \tag{65}
</math>
证明。这个直接遵循于定理2，自从H[R^]≥Cμ。证毕。
证明。这个直接遵循于定理2，自从H[R^]≥Cμ。证毕。
引理8（条件不影响熵速率）对于所有预知竞争态R^，
引理8（条件不影响熵速率）对于所有预知竞争态R^，
h[S->] = h[S-> | R^]，（66）
<math>
h[\overset{\to }{S}] = h[\overset{\to }{S} \vert \hat{\mathcal{R}}] \ , \tag{66}
</math>
其中熵速率h[S->]和条件熵速率h[S->|R^]已经定义在等式（9）和等式（10），相应地。
其中熵速率h[S->]和条件熵速率h[S->|R^]已经定义在等式（9）和等式（10），相应地。
证明。从定理5和推论2，我们得出
证明。从定理5和推论2，我们得出
<math>
\lim_{L\to \infty}\left(H[\overset{\to L}{S}] - H[\overset{\to L}{S} \vert \hat{\mathcal{R}}]\right) \le \lim_{L\to \infty}H[\hat{\mathcal{R}}] \ , \tag{67}
</math>
或者，
或者，
<math>
\lim_{L\to \infty}\frac{H[\overset{\to L}{S}] - H[\overset{\to L}{S} \vert \hat{\mathcal{R}}]}{L} \le \lim_{L\to \infty}\frac{H[\hat{\mathcal{R}}]}{L} \ . \tag{68}
</math>
自从，由等式（A4），H[S->L] - H[S->L | R^] ≥ 0，得出
自从，由等式（A4），H[S->L] - H[S->L | R^] ≥ 0，得出
h[S->] - h[S-> | R^] = 0。 （69）
<math>
h[\overset{\to }{S}] - h[\overset{\to }{S} \vert \hat{\mathcal{R}}] = 0 \ . \tag{69}
</math>
证毕。
证毕。