470
个编辑
更改
小第1行：
第1行： − 翻译自 http://arxiv.org/abs/cond-mat/9907176v2 − − 标题 − − 计算力学：斑图和预测，结构和简化 − − Cosma Rohilla Shalizi∗ 和 James P. Crutchfield − − 圣塔菲研究所，1399 Hyde 公园路，圣塔菲，NM 87501 − − 电子邮箱地址：{shalizi,chaos}@santafe.edu − − （2008年2月1日） − − 第22行：
第7行： − 02.50.Wp, 05.45, 05.65+b, 89.70.+c+ − − 目录 − − 简介 − − 代数斑图 − − 图灵机：斑图和有效过程 − − 带错误的斑图 − − 随机性：斑图的对立面吗？ − − 因果 − − 斑图概览 − − 在奥卡姆水池周边填充 − − 隐含过程 − − 过程定义 − − 稳态 − − 水池 − − 一点信息论 − − 熵的定义 − − 联合和条件熵 − − 互信息 − − 系综中的斑图 − − 定义捕获的斑图 − − 历史一课 − − 旧世界引理 − − 最小化和预测 − − 状态类的复杂度 − − 计算力学 − − 因果态 − − 定义过程的因果态 − − 构型 − − 在某一因果态条件下过去和未来的独立性 − − 同质性 − − 强同质性 − − 弱同质性 − − 因果态的强同质性 − − 因果态到状态转移 − − 因果转移 − − 转移概率 − − ϵ机制 − − ϵ机制的定义 − − ϵ机制是系综 − − ϵ机制是决定性的 − − 因果态是无关的 − − ϵ机制的重建 − − 最优化和唯一性 − − ϵ机制可以最大化预测 − − ϵ机制足够统计性 − − 预测平替定义 − − 改进引理 − − 因果态是最小化的 − − 一个过程的统计复杂性 − − 因果态是唯一的 − − ϵ机制具有最小随机性 − − 边界 − − 扩展熵 − − 扩展的边界 − − 条件不影响熵 − − 比率 − − 控制论 − − 结论补充 − − 讨论 − − 现有成果的不足 − − 未来工作的结论和方向 − − 附录 − − 信息论公式 − − 导出因果态的等价关系 − − 时间反演 − − ϵ机制是幺半群 − − 改进引理的另一种证明 − − 准无限未来的有限熵 − − 有限控制论 − − G 同其他领域的关系 − − 1 时间序列建模 − − 2 决策理论的问题 − − 3 随机过程 − − 4 形式语言理论和语法推理 − − 5 计算和统计学习理论 − − 6 描述长度原则和统一编码理论 − − 7 测量复杂性 − − 8 层级缩放复杂性 − − 9 连续动态计算 − − 参考文献 − − 符号表 − − − 第201行：
第23行： − + 第221行：
第43行： − + 第229行：
第51行： − + 第247行：
第69行： − + 第253行：
第75行： − + 第259行：
第81行： − + − + 第277行：
第99行： − + 第303行：
第125行： − + 第315行：
第137行： − + 第350行：
第172行： − + 第377行：
第199行： − + 第405行：
第227行： − + 第426行：
第248行： − + 第434行：
第256行： − + 第536行：
第358行： − + 第580行：
第402行： − + 第692行：
第514行： − + 第864行：
第686行： − +
格式按词条要求标准化
'''计算力学（Computational Mechanics）'''是一种方法，用来结构化复杂性，定义一个过程的因果态，并给出一个找出它们的步骤。我们揭示了因果态的表征-一个ϵ机制-拥有最小复杂度的同时又能拥有最准确的预测能力。我们在ϵ机制最优化和唯一性上，以及如何将ϵ机制同其他表征相比较上，获得了一些成果。更多结果和测量随机性和结构复杂度有关联，这些关联是从ϵ机制到一些遍历及信息理论获得的。
'''计算力学（Computational Mechanics）'''是一种方法，用来结构化复杂性，定义一个过程的因果态，并给出一个找出它们的步骤。我们揭示了因果态的表征-一个ϵ机制-拥有最小复杂度的同时又能拥有最准确的预测能力。我们在ϵ机制最优化和唯一性上，以及如何将ϵ机制同其他表征相比较上，获得了一些成果。更多结果和测量随机性和结构复杂度有关联，这些关联是从ϵ机制到一些遍历及信息理论获得的。
== 简介 ==
==Ⅰ. 简介 ==
有组织的物质在自然界中是广泛存在的，物理学的分支应该可以处理它-统计力学-只是缺乏一致性，原则性的方式去描述，测量，以及检测这么多自然展示出来的不同结构。统计力学有好的测量无序的热力学熵，以及相关的量化方法，比如自由能。当扩展关键模式和斑图形式的时候，它也能够拥有非常好的成功方法，来分析从对称性破缺中形成的斑图。在均衡态和最近的非均衡态都能应用。不幸的是，这些成功包含了很多技巧性处理——比如说猜测序参量，为扰动扩展标识小参量，和给空间拆分选择合适的功能基。目前这些方法还远不够清晰，还不能处理所有在自然界中遇到的多样性组织，特别是那些生物形成的过程。
有组织的物质在自然界中是广泛存在的，物理学的分支应该可以处理它-统计力学-只是缺乏一致性，原则性的方式去描述，测量，以及检测这么多自然展示出来的不同结构。统计力学有好的测量无序的热力学熵，以及相关的量化方法，比如自由能。当扩展关键模式和斑图形式的时候，它也能够拥有非常好的成功方法，来分析从对称性破缺中形成的斑图。在均衡态和最近的非均衡态都能应用。不幸的是，这些成功包含了很多技巧性处理——比如说猜测序参量，为扰动扩展标识小参量，和给空间拆分选择合适的功能基。目前这些方法还远不够清晰，还不能处理所有在自然界中遇到的多样性组织，特别是那些生物形成的过程。
为了给延续数学和提出在这里使用的假定打好基础，我们现在开始回顾以前在斑图、随机性和因果关系的工作。我们鼓励只对数学前沿感兴趣的读者跳到第二节F部分——计算力学的中心假定概要——并从那里继续。
为了给延续数学和提出在这里使用的假定打好基础，我们现在开始回顾以前在斑图、随机性和因果关系的工作。我们鼓励只对数学前沿感兴趣的读者跳到第二节F部分——计算力学的中心假定概要——并从那里继续。
==Ⅱ. 斑图 ==
== 斑图 ==
为了介绍我们的方法——同时去论证有些方法是必要的——发现和描述自然界中的斑图，我们开始引用豪尔赫·路易斯·博尔赫斯（Jorge Luis Borges ，1899年8月24日-1986年6月14日，男，阿根廷诗人、小说家、散文家兼翻译家，被誉为作家中的考古学家。）：
为了介绍我们的方法——同时去论证有些方法是必要的——发现和描述自然界中的斑图，我们开始引用豪尔赫·路易斯·博尔赫斯（Jorge Luis Borges ，1899年8月24日-1986年6月14日，男，阿根廷诗人、小说家、散文家兼翻译家，被誉为作家中的考古学家。）：
在这里我们要强调的是，“斑图”在这里体现了一种规范，结构，对称，组织，以及如此等等。相反地，通常的用法有时可以接受，比如，讨论关于像素的“斑图”，在一小部分片段-通道视频“雪原”；但我们更希望说什么是像素的配置。
在这里我们要强调的是，“斑图”在这里体现了一种规范，结构，对称，组织，以及如此等等。相反地，通常的用法有时可以接受，比如，讨论关于像素的“斑图”，在一小部分片段-通道视频“雪原”；但我们更希望说什么是像素的配置。
=== A. 代数斑图 ===
=== 代数斑图 ===
虽然斑图发现的问题出现得较早，在柏拉图的美诺篇（Plato's Meno，“美诺”可以看作是音译，也可以意译为美好的诺言。）【25】中，有一个例子，有可能第一次将“斑图”概念在数学上做严格定义的，是怀特海和罗素的数学原理。他们将斑图视为属性而非集合，但是属于在集合内或之间的关系，而且相应地他们作出了精心构思的关系-代数【26， vol. II，part IV】；cf. 【27，ch. 5-6】。这开创了定义两个集合之间一个关系的关系数，使得所有关系构成的类别，在一对一，到映射两个集合的意义上，是等价的。在这个框架中，关系享有常见的斑图或结构，如果他们拥有相同的关系数。举例来说，所有的方形晶格拥有相似的结构，因为他们的元素共享相同的邻接关系；所有的六边形晶格也是如此。尽管六边形和方形晶格，展现不同斑图，因为他们邻接关系不是同构的-也就是说，因为他们拥有不同的关系数。（也可参阅定义在参考文献【28】中的记录等价）在这上面所做的工作比期望的——尤其是罗素——要少些。这个或许可以延续到参考文献【26】第二卷一般性缺失的部分。
虽然斑图发现的问题出现得较早，在柏拉图的美诺篇（Plato's Meno，“美诺”可以看作是音译，也可以意译为美好的诺言。）【25】中，有一个例子，有可能第一次将“斑图”概念在数学上做严格定义的，是怀特海和罗素的数学原理。他们将斑图视为属性而非集合，但是属于在集合内或之间的关系，而且相应地他们作出了精心构思的关系-代数【26， vol. II，part IV】；cf. 【27，ch. 5-6】。这开创了定义两个集合之间一个关系的关系数，使得所有关系构成的类别，在一对一，到映射两个集合的意义上，是等价的。在这个框架中，关系享有常见的斑图或结构，如果他们拥有相同的关系数。举例来说，所有的方形晶格拥有相似的结构，因为他们的元素共享相同的邻接关系；所有的六边形晶格也是如此。尽管六边形和方形晶格，展现不同斑图，因为他们邻接关系不是同构的-也就是说，因为他们拥有不同的关系数。（也可参阅定义在参考文献【28】中的记录等价）在这上面所做的工作比期望的——尤其是罗素——要少些。这个或许可以延续到参考文献【26】第二卷一般性缺失的部分。
也有另一个代数方法被格列南德（Grenander）和他的同事开发出发，主要用于斑图识别【32】。本质上来讲，这对于为斑图问题发明一个生成器和约束最小集是至关重要的。生成器可以串联彼此，在一个合适的n维空间上，仅当他们的约束是兼容的。每一个兼容的约束对，同时指定一个二值代数操作，和一个从生成器构建出来的配置可观测元素。（我们在附录D中建立，用字符串连接来链接一个代数操作，是一种类似的粗陋方式。）可能性可以被附加到这些约束上，以自然方式导向到一个在整个配置之上的（吉布斯（Gibbsian））概率分布。格列南德和他的同僚们使用过这些方法去描述特征，其中也包括，几种生物范式【33，34】。
也有另一个代数方法被格列南德（Grenander）和他的同事开发出发，主要用于斑图识别【32】。本质上来讲，这对于为斑图问题发明一个生成器和约束最小集是至关重要的。生成器可以串联彼此，在一个合适的n维空间上，仅当他们的约束是兼容的。每一个兼容的约束对，同时指定一个二值代数操作，和一个从生成器构建出来的配置可观测元素。（我们在附录D中建立，用字符串连接来链接一个代数操作，是一种类似的粗陋方式。）可能性可以被附加到这些约束上，以自然方式导向到一个在整个配置之上的（吉布斯（Gibbsian））概率分布。格列南德和他的同僚们使用过这些方法去描述特征，其中也包括，几种生物范式【33，34】。
=== B. 图灵机制：斑图和有效过程 ===
=== 图灵机制：斑图和有效过程 ===
另外找寻斑图的路径可以沿着逻辑基础数学的传统探究来进行，象弗雷格、希尔伯特所表达的和丘奇、哥德尔、波斯特、罗素、图灵、和怀特海所先行的。最近的，也是和流行更有关联的方法则是回到柯尔莫哥洛夫和蔡汀，他们的研究领域恰巧在于重构单独的物件【35，38】；尤其是，他们聚焦于离散符号系统，而不是（说）实数或其他数学物件。用于表征斑图P的备选项有通用图灵机（Universal Turing machine, UTM）程序——尤其是，刚好生成物件O的最短UTM程序。这个程序的长度被叫作O的柯尔莫哥洛夫和蔡汀复杂度。注意到任何体系——自动机，语法，又或者有什么不是——这些是图灵等价的，而且对那些“长度”的观念是定义优良的，将用于表征体系。自从我们可以将这些一个设备转换到另一个——比如说，从一个波斯特标记系统【39】到图灵机——对第一个系统只使用有限的描述，当使用这种方法来衡量复杂性时，这类约束容易被融合到一块。
另外找寻斑图的路径可以沿着逻辑基础数学的传统探究来进行，象弗雷格、希尔伯特所表达的和丘奇、哥德尔、波斯特、罗素、图灵、和怀特海所先行的。最近的，也是和流行更有关联的方法则是回到柯尔莫哥洛夫和蔡汀，他们的研究领域恰巧在于重构单独的物件【35，38】；尤其是，他们聚焦于离散符号系统，而不是（说）实数或其他数学物件。用于表征斑图P的备选项有通用图灵机（Universal Turing machine, UTM）程序——尤其是，刚好生成物件O的最短UTM程序。这个程序的长度被叫作O的柯尔莫哥洛夫和蔡汀复杂度。注意到任何体系——自动机，语法，又或者有什么不是——这些是图灵等价的，而且对那些“长度”的观念是定义优良的，将用于表征体系。自从我们可以将这些一个设备转换到另一个——比如说，从一个波斯特标记系统【39】到图灵机——对第一个系统只使用有限的描述，当使用这种方法来衡量复杂性时，这类约束容易被融合到一块。
所列出的各种困难，由后续的工作做了阐述。本内特的逻辑深度统计了时间资源【47】。（实际上它是生成O的最小长度程序所需时间）Koppel的复杂性试图从随机性，或者实际指定的输入数据，分离出程序的“法则”部分【48，49】。最终，这些扩展和泛化保留在了通用图灵机（UTM）中，精确重现设置和继承固有的不可计算性。
所列出的各种困难，由后续的工作做了阐述。本内特的逻辑深度统计了时间资源【47】。（实际上它是生成O的最小长度程序所需时间）Koppel的复杂性试图从随机性，或者实际指定的输入数据，分离出程序的“法则”部分【48，49】。最终，这些扩展和泛化保留在了通用图灵机（UTM）中，精确重现设置和继承固有的不可计算性。
=== C. 带有误差的斑图 ===
=== 带有误差的斑图 ===
由这些理论困难和现实关切所触发，显然下一阶段是允许我们的斑图P在交换短描述时，带一定程度的近似或误差。结果就是，我们不能从斑图精确重构原始配置。在自然当中普通存在噪声条件下，这是能承受的小负担。我们也可以说有时候我们能接受同法则的一些小偏差，在不会真正关心精确的偏差是什么的条件下。如同参考文献【17】的结论所指出的，这就是真正在热力学描述中的首要动机，位于我们明确放弃的，也没有兴趣，对广阔数量的微观细节，为宏观观测找到一个可工作的描述。
由这些理论困难和现实关切所触发，显然下一阶段是允许我们的斑图P在交换短描述时，带一定程度的近似或误差。结果就是，我们不能从斑图精确重构原始配置。在自然当中普通存在噪声条件下，这是能承受的小负担。我们也可以说有时候我们能接受同法则的一些小偏差，在不会真正关心精确的偏差是什么的条件下。如同参考文献【17】的结论所指出的，这就是真正在热力学描述中的首要动机，位于我们明确放弃的，也没有兴趣，对广阔数量的微观细节，为宏观观测找到一个可工作的描述。
一些奇妙的哲学工作在有误差的斑图上，这些工作已经由丹尼特所完成，不仅带有询问关于自然斑图和他们的涌现，而且能引申到哲学的参考。这个直觉力来自真正的随机过程可以很容易建模——“为建模硬币投掷，投一枚硬币就好了。”任何跟假设完全无关，按照事实本身，更精确预测体制，也能在数据中捕捉斑图。因此有一系列潜在的斑图捕捉器，从纯噪声假设到数据的精确重构，如果那是可能的话。丹尼特提到在预测器的简单性和精确性之间通常有两难的情况，他也貌似有理地将涌现现象【51，52】描述为，斑图允许在复杂性上大量缩减，但在准确性上只有少减缩减。当然了，丹尼特并不一定一开始就考虑容许失误和噪声的预测体制；我们则讨论附录G中的一些早期的工作。尽量如此，对我们的认识而言，他是第一个制成了预测器的中间部分，明确了一系列斑图是什么。必须提到的是，这一序列缺少我们已经考虑到的其他方法的数学细节，而且它依赖于单个配置的不精确预测。实际上，它依赖于由噪声“刻意模糊”的预测器。尽管有噪声的引入，带来了概率分布，而且他们的自然设置位于系统当中。它位于这样一种设置，该设置是我们同丹尼特分享想法能收获合适数量的待遇。
一些奇妙的哲学工作在有误差的斑图上，这些工作已经由丹尼特所完成，不仅带有询问关于自然斑图和他们的涌现，而且能引申到哲学的参考。这个直觉力来自真正的随机过程可以很容易建模——“为建模硬币投掷，投一枚硬币就好了。”任何跟假设完全无关，按照事实本身，更精确预测体制，也能在数据中捕捉斑图。因此有一系列潜在的斑图捕捉器，从纯噪声假设到数据的精确重构，如果那是可能的话。丹尼特提到在预测器的简单性和精确性之间通常有两难的情况，他也貌似有理地将涌现现象【51，52】描述为，斑图允许在复杂性上大量缩减，但在准确性上只有少减缩减。当然了，丹尼特并不一定一开始就考虑容许失误和噪声的预测体制；我们则讨论附录G中的一些早期的工作。尽量如此，对我们的认识而言，他是第一个制成了预测器的中间部分，明确了一系列斑图是什么。必须提到的是，这一序列缺少我们已经考虑到的其他方法的数学细节，而且它依赖于单个配置的不精确预测。实际上，它依赖于由噪声“刻意模糊”的预测器。尽管有噪声的引入，带来了概率分布，而且他们的自然设置位于系统当中。它位于这样一种设置，该设置是我们同丹尼特分享想法能收获合适数量的待遇。
=== D. 随机性：斑图的对立面？ ===
=== 随机性：斑图的对立面？ ===
我们在这一点上应该说一点关于随机性，复杂性和结构之间的关系，至少我们在用这些词语。除了一些基础方面的问题，随机性实际上已经可以很好地理解和处理了，只需使用玻尔兹曼【53】；费希尔, 内曼, 和Pearson【54】；柯尔莫哥洛夫【35】；和香农【55】，以及其他人介绍的工具。一个传统的学习复杂科学的方法，实际上标记了复杂性带有随机性，而且，如同我们刚看到的，对于一些目标来说是有用的。这些目标即不是分析真实世界过程的斑图，也不是我们的。随机性的简化根本不是关于斑图或结构的观念，也不暗示，柯尔莫哥洛夫-蔡汀复杂度，也没受测量斑图所引发。
我们在这一点上应该说一点关于随机性，复杂性和结构之间的关系，至少我们在用这些词语。除了一些基础方面的问题，随机性实际上已经可以很好地理解和处理了，只需使用玻尔兹曼【53】；费希尔, 内曼, 和Pearson【54】；柯尔莫哥洛夫【35】；和香农【55】，以及其他人介绍的工具。一个传统的学习复杂科学的方法，实际上标记了复杂性带有随机性，而且，如同我们刚看到的，对于一些目标来说是有用的。这些目标即不是分析真实世界过程的斑图，也不是我们的。随机性的简化根本不是关于斑图或结构的观念，也不暗示，柯尔莫哥洛夫-蔡汀复杂度，也没受测量斑图所引发。
尽管如此，一些复杂性方法混合了“结构”，带着随机性的对立面，按照惯例由物理方面的热力学熵或相关的量化方式，比如香农熵，来理解和测量。从效果来看，结构定义成“一减去无序”。相反地，我们看待斑图——结构，组织，规范，和其他——用坐标的“正交性”来描述一个过程随机性的程度。这说明，复杂性（从我们的感觉来看）和随机性都能捕捉有用的属性，这些属性对于描述一个过程如何操控信息是必要的。这种互补性甚至都被参考文献【6】复杂性-熵图表编纂了。现在应当是清晰的，当我们使用单词“复杂性”，我们的意思是斑图的“程”度，而不是随机性的程度。
尽管如此，一些复杂性方法混合了“结构”，带着随机性的对立面，按照惯例由物理方面的热力学熵或相关的量化方式，比如香农熵，来理解和测量。从效果来看，结构定义成“一减去无序”。相反地，我们看待斑图——结构，组织，规范，和其他——用坐标的“正交性”来描述一个过程随机性的程度。这说明，复杂性（从我们的感觉来看）和随机性都能捕捉有用的属性，这些属性对于描述一个过程如何操控信息是必要的。这种互补性甚至都被参考文献【6】复杂性-熵图表编纂了。现在应当是清晰的，当我们使用单词“复杂性”，我们的意思是斑图的“程”度，而不是随机性的程度。
=== E. 因果 ===
=== 因果 ===
我们试图让动态过程斑图的表征能有因果性——换句话说，事件的一个状态如果导向或产生另一个状态。尽管关键属性，因果进入我们的研究仅仅是一个非常微弱的感受，最弱的一个可以使用数学的方法，是休谟【56】的：一类导致其他的事件，如果后者一直随附到前者；效应的不变性演变成原因。作为一个好的非决定论者，接下来我们用概率替换不变-演变的因果观念，为单个不变的继任者代替同质继任的分布。（更精确的陈述出现在第Ⅳ节A部分因果态的定义。）这种方法是一种对因果纯粹的现象主义陈述，它因此以更强因果观念的方式服从经验主义——比如在参考文献【57】——不是。参考文献【58】单独形成本质上同样的因果概念，也就是我们通过哲学讨论形成的。
我们试图让动态过程斑图的表征能有因果性——换句话说，事件的一个状态如果导向或产生另一个状态。尽管关键属性，因果进入我们的研究仅仅是一个非常微弱的感受，最弱的一个可以使用数学的方法，是休谟【56】的：一类导致其他的事件，如果后者一直随附到前者；效应的不变性演变成原因。作为一个好的非决定论者，接下来我们用概率替换不变-演变的因果观念，为单个不变的继任者代替同质继任的分布。（更精确的陈述出现在第Ⅳ节A部分因果态的定义。）这种方法是一种对因果纯粹的现象主义陈述，它因此以更强因果观念的方式服从经验主义——比如在参考文献【57】——不是。参考文献【58】单独形成本质上同样的因果概念，也就是我们通过哲学讨论形成的。
=== F. 斑图摘要 ===
=== 斑图摘要 ===
经过了这些观察，理想的，综合性的斑图方法应该立现：
经过了这些观察，理想的，综合性的斑图方法应该立现：
* 1. 代数的，让我们以一种明确的方式将斑图拆分或解构成它的部件；
* 1. 代数的，让我们以一种明确的方式将斑图拆分或解构成它的部件；
有一个斑图P是允许我们预测的一些知识，比偶然稍好一些，如果可能的话，是从系综O描绘的序列未来：P需要是统计上精确的，而且同时赋予一些杠杆作用或优势。让我们修正一些观念并陈述稍后让我们证明基本结果的假设。
有一个斑图P是允许我们预测的一些知识，比偶然稍好一些，如果可能的话，是从系综O描绘的序列未来：P需要是统计上精确的，而且同时赋予一些杠杆作用或优势。让我们修正一些观念并陈述稍后让我们证明基本结果的假设。
=== A. 隐式过程 ===
=== 隐式过程 ===
我们限制我们在离散值，离散时间稳态随机过程。（参阅Ⅶ节 B部分关于这些假设的讨论）直观地，这些过程是一序列的随机变量Si，值是从可数集A中描述的。我们让i覆盖所有整数范围，因此得到一个双向无穷序列
我们限制我们在离散值，离散时间稳态随机过程。（参阅Ⅶ节 B部分关于这些假设的讨论）直观地，这些过程是一序列的随机变量Si，值是从可数集A中描述的。我们让i覆盖所有整数范围，因此得到一个双向无穷序列
换句话来说，一个稳态过程是随时间不变的。结果就是，P(St -> = s ->) = P(S0 -> = s ->)，并且P(St -> = s <-) = P(S0 <- = s <-)，所以我们从现在开始去掉下标。
换句话来说，一个稳态过程是随时间不变的。结果就是，P(St -> = s ->) = P(S0 -> = s ->)，并且P(St -> = s <-) = P(S0 <- = s <-)，所以我们从现在开始去掉下标。
=== B. 水池 ===
=== 水池 ===
我们的目标是使用一个函数，利用S<-的一部分来作为输入，预测S->所有或者部分。我们由获取S<-的集合开始，并将它划分成不同的相互独立的部分，连带综合各个子集。也就是说，我们构建一个过去子集的类R。（参阅图1的示意图的例子）每一个ρ属于R将被称为一个状态或一个有效状态。当现在的历史s<-包含在集合ρ中，我们会说过程处于状态ρ中。因此，我们定义从历史到有效状态的函数：
我们的目标是使用一个函数，利用S<-的一部分来作为输入，预测S->所有或者部分。我们由获取S<-的集合开始，并将它划分成不同的相互独立的部分，连带综合各个子集。也就是说，我们构建一个过去子集的类R。（参阅图1的示意图的例子）每一个ρ属于R将被称为一个状态或一个有效状态。当现在的历史s<-包含在集合ρ中，我们会说过程处于状态ρ中。因此，我们定义从历史到有效状态的函数：
我们将所有历史集合R<-划分的聚集叫奥卡姆水池。
我们将所有历史集合R<-划分的聚集叫奥卡姆水池。
=== C. 一些信息论 ===
=== 一些信息论 ===
1. 熵的定义
1. 熵的定义
这是固定Y时关于X产生的平均不确定性的减少量。它是非负的，如同这里所有的熵，而且在两个变量间是对称的。
这是固定Y时关于X产生的平均不确定性的减少量。它是非负的，如同这里所有的熵，而且在两个变量间是对称的。
=== D. 系统中的斑图 ===
=== 系统中的斑图 ===
如果有一种讨论将来的不确定性将是十分方便地。直观地这将是H[S->]，但是在一般情况下数值是无限的，操作起来也是十分棘手的。（H[S->]是有限的特殊情形已经在附录F中处理过。）正常情况下，我们由考虑H[S->L]来回避这个问题，下L个符号的不确实性，由L的函数处理。在一些时候，我们将参考每一个符号的熵或熵速率【55，62】：
如果有一种讨论将来的不确定性将是十分方便地。直观地这将是H[S->]，但是在一般情况下数值是无限的，操作起来也是十分棘手的。（H[S->]是有限的特殊情形已经在附录F中处理过。）正常情况下，我们由考虑H[S->L]来回避这个问题，下L个符号的不确实性，由L的函数处理。在一些时候，我们将参考每一个符号的熵或熵速率【55，62】：
这就是说R捕获一个斑图，当它能告诉我们影响彼此的过程，各部分的分布：R展示了它们的依赖关系。（我们也说η，关联于过于的函数，捕获了一个斑图，自从隐含了R获捉一个斑图。）假设这些部分不影响彼此，然后我们拥有IID随机变量，他们最接近直观的“斑图”的概念，因为它可以被数学化地陈述。注意到，因为在联合熵上的不相关界限（Eq.(A3）)，如果不相等条件由一些L所满足，它也为每个L'>L所满足。因此，我们可以考虑差值H[S] - H[S->L|R]/L，找到最短不是零的L，作为由R捕获的斑图的长度。我们将给斑图长度标记一个上界(引理1)；后续我们将展示如何取得这个上界（定理1）。
这就是说R捕获一个斑图，当它能告诉我们影响彼此的过程，各部分的分布：R展示了它们的依赖关系。（我们也说η，关联于过于的函数，捕获了一个斑图，自从隐含了R获捉一个斑图。）假设这些部分不影响彼此，然后我们拥有IID随机变量，他们最接近直观的“斑图”的概念，因为它可以被数学化地陈述。注意到，因为在联合熵上的不相关界限（Eq.(A3）)，如果不相等条件由一些L所满足，它也为每个L'>L所满足。因此，我们可以考虑差值H[S] - H[S->L|R]/L，找到最短不是零的L，作为由R捕获的斑图的长度。我们将给斑图长度标记一个上界(引理1)；后续我们将展示如何取得这个上界（定理1）。
=== E.历史的课程 ===
=== 历史的课程 ===
我们现在处在证明系统斑图结果的位置，可用于连接后续关于因果态的定理。
我们现在处在证明系统斑图结果的位置，可用于连接后续关于因果态的定理。
备注2。引理1如前所述建立了斑图强度的上界，也就是，斑图的强度最多就是<math>H[S] - H[\overset{\to L}{S} \vert \overset{\leftarrow}{S}]/L_{past}</math>，其中Lpast是满足<math>H[\overset{\to L}{S} \vert \overset{\leftarrow}{S}] < LH[S]</math>的L的最小值。
备注2。引理1如前所述建立了斑图强度的上界，也就是，斑图的强度最多就是<math>H[S] - H[\overset{\to L}{S} \vert \overset{\leftarrow}{S}]/L_{past}</math>，其中Lpast是满足<math>H[\overset{\to L}{S} \vert \overset{\leftarrow}{S}] < LH[S]</math>的L的最小值。
=== F. 最小化和预测 ===
=== 最小化和预测 ===
让我们引用奥卡姆剃刀原则：“有些事情只需抓住关键点，做得太多的话就是徒劳”【63】。为了使用剃刀，我们需要修正什么是“完成”和什么是“更多”和“更少”的含义。我们希望完成的工作是准确地预测，比如，尽可以地降低条件熵H[S->L|R]。目标就变成了获取由引理1导出的界限。我们希望尽可能简单地完成它，尽可能使用最少的资源。在见识过这两个约束的道路上——最小化不确定性和最小化资源——我们需要有第二者的测量方法。因为P(S<- = s<-)是定义好的，这里有一个在η-状态之上的简化测量方法；比如，P(R = ρ)，处于任意单个实际状态的概率，也定义好了。对应地，我们定义资源的测量方法。
让我们引用奥卡姆剃刀原则：“有些事情只需抓住关键点，做得太多的话就是徒劳”【63】。为了使用剃刀，我们需要修正什么是“完成”和什么是“更多”和“更少”的含义。我们希望完成的工作是准确地预测，比如，尽可以地降低条件熵H[S->L|R]。目标就变成了获取由引理1导出的界限。我们希望尽可能简单地完成它，尽可能使用最少的资源。在见识过这两个约束的道路上——最小化不确定性和最小化资源——我们需要有第二者的测量方法。因为P(S<- = s<-)是定义好的，这里有一个在η-状态之上的简化测量方法；比如，P(R = ρ)，处于任意单个实际状态的概率，也定义好了。对应地，我们定义资源的测量方法。
之所以称呼S<-的所有划分为奥卡姆水池背后的想法也应当清楚了。一个原因就是想找到水池当中最浅层的地方。 这就是我们刚刚做的。
之所以称呼S<-的所有划分为奥卡姆水池背后的想法也应当清楚了。一个原因就是想找到水池当中最浅层的地方。 这就是我们刚刚做的。
== Ⅳ. 计算力学 ==
== 计算力学 ==
那些擅长射箭运动的人，是从弓，而非从弋射手上习得。那些知道如何驾船的人，是从船，而非从倭人所习得。
那些擅长射箭运动的人，是从弓，而非从弋射手上习得。那些知道如何驾船的人，是从船，而非从倭人所习得。
计算力学的最终目标是去识别过程内在的斑图。也就是说，最可能地，目标是让过程描述自己，用它自己的词语，不需要诉诸于一个关于过程结构的前提假设。这里我们简单地在这些目标中探寻一致性和规范定义。当然，实际约束或许让我们只需极度地多或少逼近这些想法，而无需做太多。更自然地，这些问题，在实现中总是会出现，如果我们开始于安全的基础，是很容易定位的。
计算力学的最终目标是去识别过程内在的斑图。也就是说，最可能地，目标是让过程描述自己，用它自己的词语，不需要诉诸于一个关于过程结构的前提假设。这里我们简单地在这些目标中探寻一致性和规范定义。当然，实际约束或许让我们只需极度地多或少逼近这些想法，而无需做太多。更自然地，这些问题，在实现中总是会出现，如果我们开始于安全的基础，是很容易定位的。
=== A.因果态 ===
=== 因果态 ===
定义5（一个过程的因果态）一个过程的因果态是一系列函数ϵ的成员，<math>ϵ : \overset{\leftarrow}{\mathbf{S}} \mapsto 2^{\overset{\leftarrow}{\mathbf{S}}}</math>——<math>\overset{\leftarrow}{\mathbf{S}} </math>的幂集：
定义5（一个过程的因果态）一个过程的因果态是一系列函数ϵ的成员，<math>ϵ : \overset{\leftarrow}{\mathbf{S}} \mapsto 2^{\overset{\leftarrow}{\mathbf{S}}}</math>——<math>\overset{\leftarrow}{\mathbf{S}} </math>的幂集：
备注。统计解释用语应该说因果态是“为因果解释的统计-关系基础”。这种基础的元素是，准确地说，无关变量的集合的最大类，对关联变量带有同质分布。参阅参考文献【58】以获取更多关于这些内容的讨论。
备注。统计解释用语应该说因果态是“为因果解释的统计-关系基础”。这种基础的元素是，准确地说，无关变量的集合的最大类，对关联变量带有同质分布。参阅参考文献【58】以获取更多关于这些内容的讨论。
=== B. 因果状态到状态的转换 ===
=== 因果状态到状态的转换 ===
在任意给定时间的因果态和观测过程的下一个值共同决定新的因果态；这点在引理5中做了简短证明。因此，一段因果态继任者有自然联系。回忆第二节E部分关于原因的讨论。更多地，给定当前因果态，所有可能的下一个值已经定好定义了条件分布。实际上，由构建可知全部准无限未来也如此。因此，有良好定义的过程的分布Tij(s)生成的值s∈A并转换到因果态Sj，如果它在Si状态中。
在任意给定时间的因果态和观测过程的下一个值共同决定新的因果态；这点在引理5中做了简短证明。因此，一段因果态继任者有自然联系。回忆第二节E部分关于原因的讨论。更多地，给定当前因果态，所有可能的下一个值已经定好定义了条件分布。实际上，由构建可知全部准无限未来也如此。因此，有良好定义的过程的分布Tij(s)生成的值s∈A并转换到因果态Sj，如果它在Si状态中。
注意到Tij(λ) = δij；也就是，由空符号λ标志的转换是同一个。
注意到Tij(λ) = δij；也就是，由空符号λ标志的转换是同一个。
=== C. ϵ-机制 ===
=== ϵ-机制 ===
从历史到因果态带有标记的转换概率Tij(s)的函数ϵ组合称作过程的ϵ-机制【5，6】。
从历史到因果态带有标记的转换概率Tij(s)的函数ϵ组合称作过程的ϵ-机制【5，6】。
给定一个过程的数学描述，有人可以经常计算分析它的ϵ-机制。（例如，查阅参考文献【65】中旋转系统的计算力学分析。）这里也有很多宽泛的算法可以从P(S<->)的经验模拟重构ϵ-机制。一些，比如那些在参考文献【5-7，69】中使用到的，操作在“批量”模式，将原始数据一起处理然后生成ϵ-机制。其他的可以操作在增量，处于“在线”模式，将因果态和它们的转移概率集合单独的测量和重新评估。
给定一个过程的数学描述，有人可以经常计算分析它的ϵ-机制。（例如，查阅参考文献【65】中旋转系统的计算力学分析。）这里也有很多宽泛的算法可以从P(S<->)的经验模拟重构ϵ-机制。一些，比如那些在参考文献【5-7，69】中使用到的，操作在“批量”模式，将原始数据一起处理然后生成ϵ-机制。其他的可以操作在增量，处于“在线”模式，将因果态和它们的转移概率集合单独的测量和重新评估。
== Ⅴ. 最佳性和唯一性 ==
== 最佳性和唯一性 ==
我们现在展示这个：因果态是最高准确度的预测器并且是最小统计复杂度的；他们在共享两者属性中是唯一的；而且他们状态到状态的转换是最小随机性的。用其他的话说，他们满足从奥卡姆借用的两个约束条件，而且他们是唯一能做到这样的表示形式。这个非常重要的寓意在这里是因果态和ϵ-机制是任何学习或模型词汇的目标。该论点由证明最优化理论的久享盛名的意义上作出。我们指出，在我们的结论备注中（第Ⅶ节），在获取这些目标中已经包含了实的例子。
我们现在展示这个：因果态是最高准确度的预测器并且是最小统计复杂度的；他们在共享两者属性中是唯一的；而且他们状态到状态的转换是最小随机性的。用其他的话说，他们满足从奥卡姆借用的两个约束条件，而且他们是唯一能做到这样的表示形式。这个非常重要的寓意在这里是因果态和ϵ-机制是任何学习或模型词汇的目标。该论点由证明最优化理论的久享盛名的意义上作出。我们指出，在我们的结论备注中（第Ⅶ节），在获取这些目标中已经包含了实的例子。
备注。这个定理是说在因果态的转换间没有更多的不确定性，比其他预知实际状态类别之间的转换更少。用其他的话来说，因果态的方式同完美的决定论很接近——在通常的理论中，非计算理论层面——因为任何竞争者在预测未来上一样好。这一类内部的决定论已经作为理想的科学模型【72】有一段时间了。
备注。这个定理是说在因果态的转换间没有更多的不确定性，比其他预知实际状态类别之间的转换更少。用其他的话来说，因果态的方式同完美的决定论很接近——在通常的理论中，非计算理论层面——因为任何竞争者在预测未来上一样好。这一类内部的决定论已经作为理想的科学模型【72】有一段时间了。
== Ⅵ. 边界 ==
== 边界 ==
在这一节我们研究结构复杂度和熵之间的测量，继承自ϵ机制和那些来自遍历性和信息论的，或许可能会让大家更熟悉一些。
在这一节我们研究结构复杂度和熵之间的测量，继承自ϵ机制和那些来自遍历性和信息论的，或许可能会让大家更熟悉一些。