更改

2.联合和条件熵

2.联合和条件熵

    我们以直观的方式定义两个变量X（从A中取值）和Y（从B从取值）的联合熵H(X, Y) ，

    我们以直观的方式定义两个变量X（从A中取值）和Y（从B从取值）的联合熵H(X, Y) ，

H[X, Y] = - ∑(x,y)属于A x B P（X = x, Y = y）log2 P(X = x, Y = y)。（6）

H[X, Y] = - ∑(x,y)属于A x B P（X = x, Y = y）log2 P(X = x, Y = y)。（6）

这是固定Y时关于X产生的平均不确定性的减少量。它是非负的，如同这里所有的熵，而且在两个变量间是对称的。  

这是固定Y时关于X产生的平均不确定性的减少量。它是非负的，如同这里所有的熵，而且在两个变量间是对称的。  

D. 系统中的斑图

=== D. 系统中的斑图 ===

    如果有一种讨论将来的不确定性将是十分方便地。直观地这将是H[S->]，但是在一般情况下数值是无限的，操作起来也是十分棘手的。（H[S->]是有限的特殊情形已经在附录F中处理过。）正常情况下，我们由考虑H[S->L]来回避这个问题，下L个符号的不确实性，由L的函数处理。在一些时候，我们将参考每一个符号的熵或熵速率【55，62】：

    如果有一种讨论将来的不确定性将是十分方便地。直观地这将是H[S->]，但是在一般情况下数值是无限的，操作起来也是十分棘手的。（H[S->]是有限的特殊情形已经在附录F中处理过。）正常情况下，我们由考虑H[S->L]来回避这个问题，下L个符号的不确实性，由L的函数处理。在一些时候，我们将参考每一个符号的熵或熵速率【55，62】：

这就是说R捕获一个斑图，当它能告诉我们影响彼此的过程，各部分的分布：R展示了它们的依赖关系。（我们也说η，关联于过于的函数，捕获了一个斑图，自从隐含了R获捉一个斑图。）假设这些部分不影响彼此，然后我们拥有IID随机变量，他们最接近直观的“斑图”的概念，因为它可以被数学化地陈述。注意到，因为在联合熵上的不相关界限（Eq.(A3）)，如果不相等条件由一些L所满足，它也为每个L'>L所满足。因此，我们可以考虑差值H[S] - H[S->L|R]/L，找到最短不是零的L，作为由R捕获的斑图的长度。我们将给斑图长度标记一个上界(引理1)；后续我们将展示如何取得这个上界（定理1）。

这就是说R捕获一个斑图，当它能告诉我们影响彼此的过程，各部分的分布：R展示了它们的依赖关系。（我们也说η，关联于过于的函数，捕获了一个斑图，自从隐含了R获捉一个斑图。）假设这些部分不影响彼此，然后我们拥有IID随机变量，他们最接近直观的“斑图”的概念，因为它可以被数学化地陈述。注意到，因为在联合熵上的不相关界限（Eq.(A3）)，如果不相等条件由一些L所满足，它也为每个L'>L所满足。因此，我们可以考虑差值H[S] - H[S->L|R]/L，找到最短不是零的L，作为由R捕获的斑图的长度。我们将给斑图长度标记一个上界(引理1)；后续我们将展示如何取得这个上界（定理1）。

E.历史的课程

=== E.历史的课程 ===

    我们现在处在证明系统斑图结果的位置，可用于连接后续关于因果态的定理。

    我们现在处在证明系统斑图结果的位置，可用于连接后续关于因果态的定理。

    备注2。引理1如前所述建立了斑图强度的上界，也就是，斑图的强度最多就是H[S] - H[S->L | S<-]/Lpast，其中Lpast是满足H[S->L|S<-]<LH[S]的L的最小值。

    备注2。引理1如前所述建立了斑图强度的上界，也就是，斑图的强度最多就是H[S] - H[S->L | S<-]/Lpast，其中Lpast是满足H[S->L|S<-]<LH[S]的L的最小值。

     

     

    F. 最小化和预测

=== F. 最小化和预测 ===

     

     

    让我们引用奥卡姆剃刀原则：“有些事情只需抓住关键点，做得太多的话就是徒劳”【63】。为了使用剃刀，我们需要修正什么是“完成”和什么是“更多”和“更少”的含义。我们希望完成的工作是准确地预测，比如，尽可以地降低条件熵H[S->L|R]。目标就变成了获取由引理1导出的界限。我们希望尽可能简单地完成它，尽可能使用最少的资源。在见识过这两个约束的道路上——最小化不确定性和最小化资源——我们需要有第二者的测量方法。因为P(S<- = s<-)是定义好的，这里有一个在η-状态之上的简化测量方法；比如，P(R = ρ)，处于任意单个实际状态的概率，也定义好了。对应地，我们定义资源的测量方法。

    让我们引用奥卡姆剃刀原则：“有些事情只需抓住关键点，做得太多的话就是徒劳”【63】。为了使用剃刀，我们需要修正什么是“完成”和什么是“更多”和“更少”的含义。我们希望完成的工作是准确地预测，比如，尽可以地降低条件熵H[S->L|R]。目标就变成了获取由引理1导出的界限。我们希望尽可能简单地完成它，尽可能使用最少的资源。在见识过这两个约束的道路上——最小化不确定性和最小化资源——我们需要有第二者的测量方法。因为P(S<- = s<-)是定义好的，这里有一个在η-状态之上的简化测量方法；比如，P(R = ρ)，处于任意单个实际状态的概率，也定义好了。对应地，我们定义资源的测量方法。

    之所以称呼S<-的所有划分为奥卡姆水池背后的想法也应当清楚了。一个原因就是想找到水池当中最浅层的地方。 这就是我们刚刚做的。

    之所以称呼S<-的所有划分为奥卡姆水池背后的想法也应当清楚了。一个原因就是想找到水池当中最浅层的地方。 这就是我们刚刚做的。

Ⅳ. 计算力学

== Ⅳ. 计算力学 ==

那些擅长射箭运动的人，是从弓，而非从弋射手上习得。那些知道如何驾船的人，是从船，而非从倭人所习得。

那些擅长射箭运动的人，是从弓，而非从弋射手上习得。那些知道如何驾船的人，是从船，而非从倭人所习得。

    计算力学的最终目标是去识别过程内在的斑图。也就是说，最可能地，目标是让过程描述自己，用它自己的词语，不需要诉诸于一个关于过程结构的前提假设。这里我们简单地在这些目标中探寻一致性和规范定义。当然，实际约束或许让我们只需极度地多或少逼近这些想法，而无需做太多。更自然地，这些问题，在实现中总是会出现，如果我们开始于安全的基础，是很容易定位的。

    计算力学的最终目标是去识别过程内在的斑图。也就是说，最可能地，目标是让过程描述自己，用它自己的词语，不需要诉诸于一个关于过程结构的前提假设。这里我们简单地在这些目标中探寻一致性和规范定义。当然，实际约束或许让我们只需极度地多或少逼近这些想法，而无需做太多。更自然地，这些问题，在实现中总是会出现，如果我们开始于安全的基础，是很容易定位的。

A.因果态

=== A.因果态 ===

定义5（一个过程的因果态）一个过程的因果态是一系列函数ε的成员，ε将S<-映射到2S<-——S<-的幂集：

定义5（一个过程的因果态）一个过程的因果态是一系列函数ε的成员，ε将S<-映射到2S<-——S<-的幂集：

    备注。统计解释用语应该说因果态是“为因果解释的统计-关系基础”。这种基础的元素是，准确地说，无关变量的集合的最大类，对关联变量带有同质分布。参阅参考文献【58】以获取更多关于这些内容的讨论。

    备注。统计解释用语应该说因果态是“为因果解释的统计-关系基础”。这种基础的元素是，准确地说，无关变量的集合的最大类，对关联变量带有同质分布。参阅参考文献【58】以获取更多关于这些内容的讨论。

    B. 因果状态到状态的转换

=== B. 因果状态到状态的转换 ===

     

     

    在任意给定时间的因果态和观测过程的下一个值共同决定新的因果态；这点在引理5中做了简短证明。因此，一段因果态继任者有自然联系。回忆第二节E部分关于原因的讨论。更多地，给定当前因果态，所有可能的下一个值已经定好定义了条件分布。实际上，由构建可知全部准无限未来也如此。因此，有良好定义的过程的分布Tij(s)生成的值s∈A并转换到因果态Sj，如果它在Si状态中。

    在任意给定时间的因果态和观测过程的下一个值共同决定新的因果态；这点在引理5中做了简短证明。因此，一段因果态继任者有自然联系。回忆第二节E部分关于原因的讨论。更多地，给定当前因果态，所有可能的下一个值已经定好定义了条件分布。实际上，由构建可知全部准无限未来也如此。因此，有良好定义的过程的分布Tij(s)生成的值s∈A并转换到因果态Sj，如果它在Si状态中。

    注意到Tij(λ) = δij；也就是，由空符号λ标志的转换是同一个。

    注意到Tij(λ) = δij；也就是，由空符号λ标志的转换是同一个。

     

     

C. ϵ-机制

=== C. ϵ-机制 ===

    从历史到因果态带有标记的转换概率Tij(s)的函数ϵ组合称作过程的ϵ-机制【5，6】。

    从历史到因果态带有标记的转换概率Tij(s)的函数ϵ组合称作过程的ϵ-机制【5，6】。