470
个编辑
更改
跳到导航
跳到搜索
小第690行：
第690行： − 在这一节我们研究结构复杂度和熵之间的测量，继承自ϵ机制和那些来自遍历性和信息论的，或许可能会让大家更熟悉一些。+ − 定义13（扩展熵）一个过程的扩展熵E是它的准无穷过去和准无穷未来之间的互信息。：+ 第698行：
第698行： − + − 定理5（扩展的边界）统计复杂度是扩展熵E的边界：+ 第714行：
第714行： − 所以有，自从两个变量间的互信息从不大于各自的信息量（等式（A9）），E ≤ H[S] = Cμ，带着等价条件当有仅当H[S|S->] = 0。证毕。+ − 备注1。注意到我们有引用H[S->]，而不是H[S->L]，也只是在减去象H[S->|S<-]的数量。我们不需要担心，因此，关于一个有限L-> ∞极限H[S->L]的存在性，只是有限L->∞对于I[S->L;S<-]和I[S->L;S]的极限。有很多初级情形（例如，单纯的掷硬币过程）都是后者极限存在的同时前者不存在。+
→边界： 整理数学公式至定理5的备注1
== 边界 ==
== 边界 ==
在这一节我们研究结构复杂度和熵之间的测量，继承自ϵ-机器和那些来自遍历性和信息论的，或许可能会让大家更熟悉一些。
定义13（扩展熵）一个过程的扩展熵<math>\mathbf{E}</math>是它的准无穷过去和准无穷未来之间的互信息。：
<math>
<math>
</math>
</math>
扩展熵是经常使用的随机过程复杂度的测量方法，也出现过多个名字；例如，“预测信息”，“存储信息”，“有效测量复杂度”，凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了，E不是，通常意义上的，过程存储于内部的关于过去的记忆数量；一个用Cμ量化测量。
扩展熵是经常使用的随机过程复杂度的测量方法，也出现过多个名字；例如，“预测信息”，“存储信息”，“有效测量复杂度”，凡此种种【73-79】。E测量存储在关于过去可观测行为的外在信息。由于我们已经建立了，<math>\mathbf{E}</math>不是，通常意义上的，过程存储于内部的关于过去的记忆数量；一个用<math>C_\mu</math>量化测量。
定理5（扩展的边界）统计复杂度是扩展熵<math>\mathbf{E}</math>的边界：
<math>
<math>
</math>
</math>
所以有，自从两个变量间的互信息从不大于各自的信息量（等式（A9）），<math>\mathbf{E} \le H[\mathcal{S}] = C_\mu</math>，带着等价条件当有仅当<math>H[\mathcal{S} \vert \overset{\to }{S}] = 0</math>。证毕。
备注1。注意到我们有引用<math>H[\overset{\to }{S}]</math>，而不是<math>H[\overset{\to L}{S}]</math>，也只是在减去象<math>H[\overset{\to}{S} \vert \overset{\gets}{S}]</math>的数量。我们不需要担心，因此，关于一个有限<math>L \to \infty</math>极限<math>H[\overset{\to L}{S}]</math>的存在性，只是有限<math>L \to \infty</math>对于<math>I[\overset{\to L}{S};\overset{\gets }{S}]</math>和<math>I[\overset{\to L}{S};\mathcal{S}]</math>的极限。有很多初级情形（例如，单纯的掷硬币过程）都是后者极限存在的同时前者不存在。
备注2。在第一眼看来，将E看作存储在过程中的信息数量是吸引人的。如定理5所示，这种吸引力应该抵制。E是过程存储关于它的历史，命名为Cμ，信息真实数量唯一下界。 我们可以，即使，说E量度了在过程中显现的信息，自从它是直接定义在观察序列术语上而非隐式术语，内生状态，如Cμ所是。
备注2。在第一眼看来，将E看作存储在过程中的信息数量是吸引人的。如定理5所示，这种吸引力应该抵制。E是过程存储关于它的历史，命名为Cμ，信息真实数量唯一下界。 我们可以，即使，说E量度了在过程中显现的信息，自从它是直接定义在观察序列术语上而非隐式术语，内生状态，如Cμ所是。