5,443
个编辑
更改
跳到导航
跳到搜索
第138行：
第138行： − 以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即分布的熵最大。但根据有效信息的计算公式+ − [math]EI = I(I_D;E_D) = H(I_D) - H(I_D|E_D) = H(I_D) - ((1-eff) * H(I_D) = eff * H(I_D)[/math]可以看出EI的大小与干预的概率分布有关。+ − 因果容量被定义系统在+ + + + +
→因果涌现与因果容量
==== 因果涌现与因果容量 ====
==== 因果涌现与因果容量 ====
Erik Hoel提出 EI 与 Claude Shannon 的信息论之间的联系。信息论中信息传输需要经过信道，信道由两个有限集合X和Y组成，分别为信道的输入和输出，对于每个[math]x \in X[/math]，有一个转移概率[math]p(y|x)[/math]的集合，使得对于每个X和Y， [math]p(y|x) \geq 0[/math]，对于每个X，[math]\sum_y p(y|x) = 1[/math]，这个集合称为通道矩阵。信道由通道矩阵控制，矩阵是固定不变的。同样，因果结构由干预与其效果之间的关系控制，这种关系也是固定不变的。信道和因果结构都可以表示为转移概率矩阵。在某些情况下，如果一个信道矩阵的转移概率与因果结构中某组状态之间转换的转移概率相同，那么它们的TPM将是相同的。因果结构实际上是一个矩阵，用于将前一状态转化为下一状态。
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
[math]EI = I(I_D;E_D) = H(I_D) - H(I_D|E_D) = H(I_D) - ((1-eff) * H(I_D)) = eff * H(I_D)[/math]
其中[math]I_D[/math]是干预分布，[math]E_D[/math]是效果分布，即TPM作用于干预分布后的结果，[math]eff[/math]是有效性。由公式可以看出EI的大小与干预的概率分布有关。
Claude Shannon 在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 p(X) 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入集合，这也是信道能够可靠传输信息的最大速率：[math]C = \max_{p(X)} I(X; Y)[/math]，其中[math]I(X; Y)[/math]是输入和输出之间的互信息。因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC）。因果容量是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为：[math]CC = \max_{ID} I(I_D; E_D)[/math]。
== 状态空间的因果涌现 ==
== 状态空间的因果涌现 ==