128
个编辑
更改
跳到导航
跳到搜索
第236行：
第236行： − + 第272行：
第272行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
增加第3部分A至C一些信息论的翻译
<math>
<math>
\lim_{x \to \infty} \frac{\lvert P_n \rvert}{n},
\lim_{x \to \infty} \frac{\lvert P_n \rvert} {n},
</math>
</math>
综合后确实就是我们声明的佳酿，不谦虚地说，可以随时取用。
综合后确实就是我们声明的佳酿，不谦虚地说，可以随时取用。
== Ⅲ. 系综中的斑图：奥卡姆水池周边的补充 ==
有一个斑图P是允许我们预测的一些知识，比偶然稍好一些，如果可能的话，是从系综O描绘的序列未来：P需要是统计上精确的，而且同时赋予一些杠杆作用或优势。让我们修正一些观念并陈述稍后让我们证明基本结果的假设。
=== A. 隐式过程 ===
我们限制我们在离散值，离散时间稳态随机过程。（参阅Ⅶ节 B部分关于这些假设的讨论）直观地，这些过程是一序列的随机变量Si，值是从可数集A中描述的。我们让i覆盖所有整数范围，因此得到一个双向无穷序列
<math>
\overleftrightarrow{S} = \cdots S_{-1} S_0 S_1 \cdots . \tag {2}
</math>
实际上，我们用分布的术语定义一个过程；cf. 参考文献【59】。
定义1（一个过程）让A是一个可数集。让Ω=AZ是双向无穷序列，值由A的元素组成，Ti->A是返回双向无穷序列ω属于Ω第i个元素si的函数，而F是Ω柱集的域。添加一个概率测度P给我们一个概率空间（Ω, F, P），带有附加的随机变量S<->。一个过程是一个随机变量序列Si = Ti(S<->)，i属于Z。
这里，自始至终地，我们遵从习惯，使用大写字母来表示随机变量，而使用小写字母来表示它们的特定取值。
从定义延展过来，有一个对有限长度序列的良好定义的概率分布。让St->L是St, St+1, ..., St+L-1以St开始的L个随机变量，St->0=λ，是空序列。同样，St <-L代表结束于St的L个随机变量的序列，但并不包含St；St <- L = S t-L ->L。St ->L和St ->L都从sL属于集合AL中获取特定值。类似地，St ->和St <-是准无限序列，他们分别从t开始和结束于t，并相应从s->和s<-获取特定值。
直观地，我们可以想象，开始于有限长度序列的分布，并逐步向两端扩展，直到达到无限长度的序列才停止。当然把这个放在意识中是有用的图景，这样来定义过程引起了一些微妙的测量理论上的问题，比如如何把有限空间分布限制在无限空间里【60，ch. 7】。为了避免这些问题，我们从无限空间分布开始。
定义2（稳态）一个过程Si是稳态的，当且仅当
<math>
P(\overset{\to L}{S_ t} = \mathcal{s}^L) = P(\overset{\to L}{S_ 0} = \mathcal{s}^L), \tag {3}
</math>
对所有的t属于Z，L属于Z+，而且所有sL属于AL。
换句话来说，一个稳态过程是随时间不变的。结果就是，P(St -> = s ->) = P(S0 -> = s ->)，并且P(St -> = s <-) = P(S0 <- = s <-)，所以我们从现在开始去掉下标。
=== B. 水池 ===
我们的目标是使用一个函数，利用S<-的一部分来作为输入，预测S->所有或者部分。我们由获取S<-的集合开始，并将它划分成不同的相互独立的部分，连带综合各个子集。也就是说，我们构建一个过去子集的类R。（参阅图1的示意图的例子）每一个ρ属于R将被称为一个状态或一个有效状态。当现在的历史s<-包含在集合ρ中，我们会说过程处于状态ρ中。因此，我们定义从历史到有效状态的函数：
μ: S<- |->R. (4)
一个特定的单独的历史s<-属于S<-映射为一个特定的状态ρ属于R；过去的随机变量S<-映射到有效状态的随机变量R。这里有一点区别，对于我们是否将μ想象为从历史到历史子集的函数，还是从历史到子集标签的函数。每一种解释在不同时间都有其方便之处，我们两者都会用到。
注意到我们可以使用任意定义在S<-上的函数，用来分割对应集合。赋予同样的ρ给所有的s<-的历史，该函数能获得同样的值。类似地，任意在S<-上的等价关系也能分割它。（请参阅附录B以获取更多等价关系）由于我们定义过程分布的方式，每个实际状态都有良好定义的未来分布，通过非必然的唯一值。指定实际状态的数值去作为关于过程未来的预测。所有附属于给定实际状态的历史在预测未来的目标上是等价的。（在这种方法里，框架形式上结合了传统的时间序列分析方法；参阅附录G1。）
图1。一张集合S<-的分区示意图，所有的历史都分到一些实际状态类中：R = {Ri ：i = 1,2,3,4}。注意到Ri不能形式紧致集；我们以清晰明了的方式简单地绘制他们。有人应该意识到康托集或其他更病态的结构。
我们将所有历史集合R<-划分的聚集叫奥卡姆水池。
=== C. 一些信息论 ===
1. 熵的定义
给定一个从可数集合中取值的随机变量X，X的熵是
H[X]=-Σx属于AP(X=x)logxP(X=x), (5)
加入 0log0 = 0。注意到H[X]是-log2P(X=x)的期望值，而且测量单位是信息比特。特别注意“当和收敛到有限值”的形式在所有状态中是隐性的，这些关于熵的状态出自可数集A。
香农将H[X]表示成X的不确定度。（这些对任何主观部分的猜疑，比如“不确定”的观念，可以就地读作“实现变量”。）他展示了，比如，H[X]是对和错问题数量的均值，这些问题需要在重复实验中能选定X的值，如果这些问题被选中去最小化这个平均值【55】。
2.联合和条件熵