3,094
个编辑
更改
→因果涌现与因果容量
=== 因果涌现与因果容量 ===
=== 因果涌现与因果容量 ===
Erik Hoel还提出 EI 与 Claude Shannon 的信息论之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个有限集合X和Y组成，分别为信道的输入和输出，对于每个[math]x \in X[/math]，有一个转移概率[math]p(y|x)[/math]的集合，使得对于每个X和Y， [math]p(y|x) \geq 0[/math]，对于每个X，[math]\sum_y p(y|x) = 1[/math]，这个集合称为通道矩阵。信道由通道矩阵控制，矩阵是固定不变的。同样，因果结构由干预与其效果之间的关系控制，这种关系也是固定不变的。信道和因果结构都可以表示为转移概率矩阵。在某些情况下，如果一个信道矩阵的转移概率与因果结构中某组状态之间转换的转移概率相同，那么它们的TPM将是相同的。因果结构实际上是一个矩阵，用于将前一状态转化为下一状态。
[[Erik Hoel]]还提出因果涌现理论与[[Claude Shannon]]的[[信息论]]之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个变量X和Y组成，分别为信道的输入和输出。对于任意的[math]X[/math]和[math]Y[/math]的取值[math]x,y[/math]，我们可以定义一个转移概率[math]p(y|x)[/math]，且满足：[math]p(y|x) \geq 0[/math]，以及对于每个x，[math]\sum_y p(y|x) = 1[/math]。因此，由所有X和Y的取值，我们可以定义一个信道矩阵（即TPM）。信道的性质显然由该TPM决定。
同样，对于一个马尔科夫动力学的前后两个状态是受限于动力学的，这种因果关系关系也是固定不变的。信道和动力学都可以用转移概率矩阵所描述。因此，一个动力学也可以被看作是一个通信信道。
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
[math]EI = I(I_D;E_D) = H(I_D) - H(I_D|E_D) = H(I_D) - ((1-eff) * H(I_D)) = eff * H(I_D)[/math]
[math]EI = I(\tilde{X_t};\tilde{X_{t+1}) = H(\tilde{X_t}) - H(\tilde{X_t}|\tilde{X_{t+1}) = H(\tilde{X_t}) - ((1-Eff) * H(\tilde{X_t})) = Eff * H(\tilde{X_t})[/math]
其中[math]\tilde{X_t}[/math]和[math]\tilde{X_{t+1}}[/math]是干预后的因果变量，[math]Eff[/math]为动力学的有效性。由公式可以看出EI的大小与干预的概率分布的熵有关。
Claude Shannon 在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布，这也是信道能够可靠传输信息的最大速率：[math]C \equiv \max_{p(X)} I(X; Y)[/math]，其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。
相应的，因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC）。因果容量是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为：[math]CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X_{t+1}})[/math]。
== 状态角度的因果涌现 ==
== 状态角度的因果涌现 ==