更改

=== 有效信息与香农熵的关系 ===

=== 有效信息与香农熵的关系 ===

过去，少数直接比较宏观和微观的涌现概念都隐含或明确地假设，宏观尺度最多只能是微观尺度的压缩(37-39)。这是可以理解的，因为任何宏观因果模型的特征都是其简化的状态空间。然而，压缩通常是有损的，至多达到无损。专注于压缩只能发现宏观尺度最多只能是微观尺度的压缩等效物。相比之下，在因果涌现理论中，占主导地位的概念是香农发现的信道容量，以及信息编码如何利用它实现可靠通信。

过去，少数直接比较宏观和微观的涌现概念都隐含或明确地假设，宏观尺度最多只能是微观尺度的压缩(37-39)。这是可以理解的，因为任何宏观因果模型的特征都是其简化的状态空间。然而，压缩通常是有损的，至多达到无损。专注于压缩只能发现宏观尺度最多只能是微观尺度的压缩等效物。相比之下，在因果涌现理论中，占主导地位的概念是香农发现的信道容量，以及信息编码如何利用它实现可靠通信。

一个信道由两个有限集合X和Y，以及转移概率p(Y | X)的集合组成，使得对于每个X和Y, p(Y | X)≥0，对于每个X，∑Y p(Y | X) = 1(被称为信道矩阵)。X和Y分别是信道的输入和输出(40)。信道矩阵作为一个固定实体控制信道。类似地，因果结构是由干预及其效果之间的关系所支配的，也是固定实体。值得注意的是，信通和因果结构都可以表示为TPMs，并且在信道矩阵包含与某些状态转换集相同的转换概率的情况下，TPMs将是相同的。因果结构是一个将过去状态转化为未来状态的矩阵。

一个信道由两个有限集合X和Y，以及转移概率[math]p(Y \mid X)[/math]的集合组成，使得对于每个X和Y, [math]p(Y \mid X) ≥ 0[/math]，对于每个X，∑Y p(Y | X) = 1(被称为信道矩阵)。X和Y分别是信道的输入和输出(40)。信道矩阵作为一个固定实体控制信道。类似地，因果结构是由干预及其效果之间的关系所支配的，也是固定实体。值得注意的是，信通和因果结构都可以表示为TPMs，并且在信道矩阵包含与某些状态转换集相同的转换概率的情况下，TPMs将是相同的。因果结构是一个将过去状态转化为未来状态的矩阵。

互信息I(X,Y)最初是由Claude Shannon提出的度量，用来捕获可以在信道上传输的信息的速率。互信息I(X,Y)可以表示为:

互信息[math]I(X; Y)[/math]最初是由Claude Shannon提出的度量，用来捕获可以在信道上传输的信息的速率。互信息[math]I(X; Y)[/math]可以表示为:

<math>

<math>

</math>

</math>

H(X)表示源的总可能熵，在因果分析中对应某组干预ID，因此H(X) = H(ID)。条件熵H(X|Y)捕获在考虑Y后关于X的剩余信息。因此，H(X|Y)有一个明确的因果解释，即在一系列干预措施中丢失的信息量。更具体地说，它是由于缺乏有效性而丢失的信息。从已知条件熵公式H(X|Y) = H(X)−I(X;Y)，通过替换因果术语得到H(ID|ED) = H(ID)−I(ID;ED)，我们可以得到H(ID|ED) = H(ID)−(H(ID)∗eff)。再次通过转换H(ID|ED) =(1−eff)∗H(ID)可证明，H(ID|ED)确实捕获了缺乏的有效性。

H(X)表示源的总可能熵，在因果分析中对应某组干预ID，因此H(X) = H(ID)。条件熵H(X|Y)捕获在考虑Y后关于X的剩余信息。因此，H(X|Y)有一个明确的因果解释，即在一系列干预措施中丢失的信息量。更具体地说，它是由于缺乏有效性而丢失的信息。从已知条件熵公式H(X|Y) = H(X)−I(X;Y)，通过替换因果术语得到[math]H(I_D \mid E_D) = H(I_D)−I(I_D; E_D)[/math]，我们可以得到[math]H(I_D \mid E_D) = H(I_D)−(H(I_D) \cdot eff)[/math]。再次通过转换[math]H(I_D \mid E_D) =(1 − eff) \cdot H(I_D)[/math]可证明，[math]H(I_D \mid E_D)[/math]确实捕获了缺乏的有效性。

<math>

<math>

</math>

</math>

因此，我们可以直接说明宏观如何战胜微观:虽然H(ID)在宏观尺度上必然减少，但条件熵H(ID|ED)可能会更大程度地减少，从而使总互信息提高。

因此，我们可以直接说明宏观如何战胜微观:虽然H(ID)在宏观尺度上必然减少，但条件熵[math]H(I_D \mid E_D)[/math]可能会更大程度地减少，从而使总互信息提高。

信道具有一定的容量，容量具体是指一个信道以最具信息量和最可靠的方式将输入转化为输出的能力。Shannon发现，信道上的信息传输速率对输入概率分布p(X)的变化很敏感。信道(C)的容量由使互信息最大化的输入集合来定义，这也是信道能够可靠传输信息的最大速率:

信道具有一定的容量，容量具体是指一个信道以最具信息量和最可靠的方式将输入转化为输出的能力。Shannon发现，信道上的信息传输速率对输入概率分布[math]p(X)[/math]的变化很敏感。信道([math]C[/math])的容量由使互信息最大化的输入集合来定义，这也是信道能够可靠传输信息的最大速率:

<math>

<math>

</math>

</math>

因果涌现理论揭示了系统中存在类似的因果容量。因果容量(CC)是一个系统以最大信息量和最有效的方式将干预转化为结果的能力：

因果涌现理论揭示了系统中存在类似的因果容量。因果容量([math]CC[/math])是一个系统以最大信息量和最有效的方式将干预转化为结果的能力：

<math>

<math>

</math>

</math>

正如改变通道的输入概率p(X)会增加I(X;Y)一样，改变干预分布(ID)也会增加EI。宏观使用的干预改变或扭曲了ID，导致因果涌现。相应地，拥有 EImax的宏观尺度因果模型(及其关联的ID和ED)是最充分利用系统因果容量的模型。尽管ID有这种扭曲，但从某些宏观尺度来看，ID仍然处于Hmax，因为每个do(sM)都是等概率的(ED是一组宏观效应)。

正如改变通道的输入概率[math]p(X)[/math]会增加[math]I(X; Y)[/math]一样，改变干预分布([math]I_D[/math])也会增加EI。宏观使用的干预改变或扭曲了[math]I_D[/math]，导致因果涌现。相应地，拥有 [math]EI_{max}[/math]的宏观尺度因果模型(及其关联的[math]I_D[/math]和[math]E_D[/math])是最充分利用系统因果容量的模型。尽管[math]I_D[/math]有这种扭曲，但从某些宏观尺度来看，[math]I_D[/math]仍然处于[math]H_{max}[/math]，因为每个[math]do(s_M)[/math]都是等概率的([math]E_D[/math]是一组宏观效应)。

由此可见，系统的更高时空尺度是什么:一种因果结构的通道编码形式。宏观尺度是一种消除因果关系不确定性的编码，从而利用了更多可用的因果容量。图7使用输入X、输出Y (t, t+1)的TPM给出了这种因果编码的示例:

由此可见，系统的更高时空尺度是什么:一种因果结构的通道编码形式。宏观尺度是一种消除因果关系不确定性的编码，从而利用了更多可用的因果容量。图7使用输入X、输出Y(t, t+1)的TPM给出了这种因果编码的示例:

<math>

<math>

</math>

</math>

要通过具有以上属性的信道矩阵发送信息，需要定义一些编码/解码函数。信息可能是一些二进制字符串，例如，通过某个ID生成的{001011010011}。编码函数φ: {message}→{encoder}是一个规则，它将一些信道输入和一些输出，以及一些解码函数ψ联系起来。编码/解码函数一起创建了码本。

要通过具有以上属性的信道矩阵发送信息，需要定义一些编码/解码函数。信息可能是一些二进制字符串，例如，通过某个[math]I_D[/math]生成的{001011010011}。编码函数φ: {message}→{encoder}是一个规则，它将一些信道输入和一些输出，以及一些解码函数ψ联系起来。编码/解码函数一起创建了码本。

图7

图7

我们现在可以定义宏观与微观尺度的编码：微观尺度编码对应从φ : {x1, x2, x3, x4} → {00, 01, 10, 11} 的一一映射，解码函数：ψ : {00, 01, 10, 11}→ {y1, y2, y3, y4}，每个微观状态 x 都携带其独特的信息。以这种方式干预系统的熵H(ID) = 2 bits，因为它的四种可能状态是连续的随机干预(因此p(1) = 0.5)。每个码指定一个传输速率R = n/t，其中t是系统的每次状态转换，n是每次转换发送的比特数。上述系统的微观尺度编码速率R = 2 bits，但这2 bits发送并不可靠。这是因为H(ID|ED)比较大:1.19 bits，所以I(ID;ED) = H(ID)−H(ID|ED) = 0.81 bits。在实际应用中，这意味着如果想要发送消息{00,10,11,01,00,11}，这将需要使用6个通道，并且出现大量错误的可能性非常高。这是因为速率R超过了微观尺度的容量。

我们现在可以定义宏观与微观尺度的编码：微观尺度编码对应从φ : {x1, x2, x3, x4} → {00, 01, 10, 11} 的一一映射，解码函数：ψ : {00, 01, 10, 11}→ {y1, y2, y3, y4}，每个微观状态 x 都携带其独特的信息。以这种方式干预系统的熵[math]H(I_D) = 2 bits[/math]，因为它的四种可能状态是连续的随机干预(因此[math]p(1) = 0.5[/math])。每个码指定一个传输速率[math]R = n/t[/math]，其中[math]t[/math]是系统的每次状态转换，[math]n[/math]是每次转换发送的比特数。上述系统的微观尺度编码速率[math]R = 2 bits[/math]，但这2 bits发送并不可靠。这是因为[math]H(I_D \mid E_D)[/math]比较大:1.19 bits，所以[math]I(I_D; E_D) = H(I_D)−H(I_D \mid E_D) = 0.81 bits[/math]。在实际应用中，这意味着如果想要发送消息{00,10,11,01,00,11}，这将需要使用6个通道，并且出现大量错误的可能性非常高。这是因为速率R超过了微观尺度的容量。

相反，我们可以将宏尺度编码函数定义为多对一映射Φ:{x1, x2, x3}→{0};{x4}→{1}，类似Ψ:{y1, y2, y3}→{0};{y4}→{1}，使得只有宏观状态被用作干预，即假设它们携带不同的信息。这套编码发送消息的速度慢了两倍，因为R = 1 bit，并且对应的熵H(ID)减半(1 bit;p(1) = 0.83)。因为H(ID|ED) = 0，I(ID;ED) = 1 bit，表明可靠的干预可以以1 bit的速率进行，比使用微观尺度编码的速率高。在这个宏观尺度上，传递任何信息都不会有错误，通信速率等于容量C。

相反，我们可以将宏尺度编码函数定义为多对一映射Φ:{x1, x2, x3}→{0};{x4}→{1}，类似Ψ:{y1, y2, y3}→{0};{y4}→{1}，使得只有宏观状态被用作干预，即假设它们携带不同的信息。这套编码发送消息的速度慢了两倍，因为[math]R = 1 bit[\math]，并且对应的熵[math]H(I_D)[\math]减半(1 bit;p(1) = 0.83)。因为[math]H(I_D \mid E_D) = 0，I(I_D; E_D) = 1 bit[/math]，表明可靠的干预可以以1 bit的速率进行，比使用微观尺度编码的速率高。在这个宏观尺度上，传递任何信息都不会有错误，通信速率等于容量C。

因此可以说明因果涌现需要对称性破缺。当通道的行p(y|x)和列互为排列时，信道被定义为对称的。如果行概率是彼此的排列，并且满足所有列和相等，则信道是弱对称的。对于任何这样的对称通道，产生Imax的输入分布已被证明为均匀分布Hmax。在微观尺度上处理系统意味着ID = Hmax。因此，对于对称或弱对称系统，微观尺度提供了最佳的因果模型，而无需在模型空间中搜索。只有在因果关系不对称的系统中，才可能出现因果涌现。

因此可以说明因果涌现需要对称性破缺。当通道的行[math]p(y \mid x)[/math]和列互为排列时，信道被定义为对称的。如果行概率是彼此的排列，并且满足所有列和相等，则信道是弱对称的。对于任何这样的对称通道，产生[math]I_{max}[/math]的输入分布已被证明为均匀分布[math]H_{max}[/math]。在微观尺度上处理系统意味着[math]I_D = H_{max}[/math]。因此，对于对称或弱对称系统，微观尺度提供了最佳的因果模型，而无需在模型空间中搜索。只有在因果关系不对称的系统中，才可能出现因果涌现。

=== 因果容量近似通道容量 ===

=== 因果容量近似通道容量 ===