470
个编辑
更改
跳到导航
跳到搜索
第1,055行：
第1,055行： − + + + + + + + + + + + + + + + + + + + + +
翻译到附录形式语言理论第三段开头
==== 时间序列建模 ====
==== 时间序列建模 ====
时间序列建模的目标是基于它的过去去预测一段测量序列的未来。更广义地说，这个可以被分成两部分：识别相等的过去并且然后生成对于每个相等过去聚类的一个预测。这就是，我们首先取得一个函数<math>η:\overset{\gets}{\mathbf{S}} \mapsto \mathbfcal{R}</math>并且取得另一个函数<math>p:\mathbfcal{R} \mapsto \overset{\to}{\mathbf{S}}</math>。
时间序列建模的目标是基于它的过去去预测一段测量序列的未来。更广义地说，这个可以被分成两部分：识别相等的过去并且然后生成对于每个相等过去聚类的一个预测。这就是，我们首先取得一个函数<math>η:\overset{\gets}{\mathbf{S}} \mapsto \mathbfcal{R}</math>并且取得另一个函数<math>p:\mathbfcal{R} \mapsto \overset{\to}{\mathbf{S}}</math>。当然，我们可以选择p将来的范围成一定的有限长度（长度1是挺流行的）又或者选择在这个上面的一个概率分布。同时实际的应用通常需要一个单独的确定的预测——“你将会遇见一个又高又黑的陌生事物”，有明显的优势去预测一个分布——“你有0.95的机会遇到又高又黑的陌生事物，而有0.05的机会遇见一个高大而熟悉的白色物种。”很显然，对于p最好的选择是对于<math>ρ \in \mathbfcal{R}</math>每个将来实际的条件分布。给定这个条件，问题就变成了最好的R是什么；例如，什么是最好的η？至少在试图理解整个过程的情况下，我们展示了最好的η是，一点也不含糊的，ϵ。因此，我们的讨论蕴涵地包容了那些传统时间序列建模。
计算力学——它集中于让过程自己通过（或许很贫乏）测量——沿着激发一个方向的精神去实证测试动态系统理论。特别地，它延续参考文献【90】和【91】中介绍的重构“从时间序列中来的几何”方法的精神。一个最近的并行的工作已经出现了，无论如何，后续的工作在于从数据序列的动态中估计最小等式【92】。
==== 决策理论问题 ====
经典的决策理论聚焦于“归纳行为原则”【93-95】。决策理论的问题定义是如何从观测数据中选择函数能抵达控制指定属性行动的航线。这个任务显然亲和于考虑ϵ的属性和它的竞争者η。我们可以继续讨论并且表示什么是我们已经完成的可以考虑成一个决策问题，其中合适的行动包括预测关于过程的未来。行为最佳原则的计算通常会遇到可怕的技术性细节，比如提供在关联这个世界侧面每个不同的假设下每个不同的行动路径一种使用上的估计。一边是，编造完全不使用ϵ的最优行动原则的时间序列任务不会太困难。另一边是，如果我们简单地瞄准预测过程于到未来的无限期地远，然后因为因果态对于未来的分布（定理2，备注4）是最小足够统计的，最优行动原则将使用ϵ。
==== 随机过程 ====
很明确地，计算力学方法到斑图和斑图发现以一种密切和无法分割的方式包含了随机过程。或许可能有，也是当然，一种都兴趣盎然地使用信息论工具来分析随机过程，部分是他们的遍历性行为【59，96-98】。也有相当多的工具是基于隐马尔科夫模型和基于来源数据或给定分布的过程推理模型最优预测文献【10,99-102】。从我们的知识的最好结果来看，无论如何，这两种方式在之间没有联合过。
或许在随机过程文献中最接近计算力学精神的方法是，出乎意料地，最优预测即新又经典的理论并梳理统计过程，由维纳和柯尔莫哥洛夫所发展。这两种理论共享信息论元语的使用，预测和结构的统一，坚信“时间序列的统计力学”是一种“条件非常远程的领域，比如热机统计力学和非常适合作为在活性有机体中正在发生的模型来应用的那些”【106，p.59】。目前为止我们已经可以学到，无论如何，没有人使用过这个理论去专门识别因果态和因果结构，让这些含蓄于预测和滤波操作的数学形式。此外，维纳-柯尔莫哥洛夫框架推动我们痛快地分割预测和滤波的线性和非线性方面，因为它在计算非线性操作上具有很多困难【105】。计算力学对该问题完全漠视的，自从它将过程的所有结构打包进ϵ-机器当中，也等于说在线性和强非线性情形下是可计算的。
==== 形式语言理论和语法推理 ====
形式语言是从有限字母表中拉出符号串的集合（“单词”或“合法的词语”）。每一种形式语言可能被描述成规则（一个“词法”）的集合去创建所有且仅被允许的词语，由一个也是由允许的词语生成的抽象的自动机，或者由一个允许词语而剔除所有“禁止”词语所接受的自动机。我们的ϵ-机器，概率分布的丝带，对应于这些自动化——在简单情形或分类上有生产力的，如果我们加入弹出态并当没有遇到允许的符号时移动到它。
自从乔姆斯基【107，108】，已经广为人知形式语言可以被分类成一个层级结构，更高层的拥有严格意义上更强的表达能力。这个层级结构由严格的语法规则形式定义或者，等价的，由限制数量和可用于的自动机内存种类获得。层级结构的最底层是常规语言，或者为Unix用户读者用来作为正则表达式。这些对应于有限状态机和有限维隐马尔科夫模型。在这种情形下，关联到我们的最小和唯一定理是非常好懂的【66】，并且因果态的构造是类似于“尼罗德等值班级”过程【66，109】。我们的定理，不管怎么样，不会限制在这种低存储，非-随机设置。
从观测数据中学习一个语言的问题