5,443
个编辑
更改
跳到导航
跳到搜索
第127行：
第127行： + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + 第375行：
第408行： − − === 因果涌现与因果容量 === − − [[Erik Hoel]]还提出因果涌现理论与[[Claude Shannon]]的[[信息论]]之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个变量X和Y组成，分别为信道的输入和输出。对于任意的[math]X[/math]和[math]Y[/math]的取值[math]x,y[/math]，我们可以定义一个转移概率[math]p(y|x)[/math]，且满足：[math]p(y|x) \geq 0[/math]，以及对于每个x，[math]\sum_y p(y|x) = 1[/math]。因此，由所有X和Y的取值，我们可以定义一个信道矩阵（即TPM）。信道的性质显然由该TPM决定。 − − 同样，对于一个马尔科夫动力学的前后两个状态是受限于动力学的，这种因果关系关系也是固定不变的。信道和动力学都可以用转移概率矩阵所描述。因此，一个动力学也可以被看作是一个通信信道。 − − 而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式： − − <math> − EI = I(\tilde{X}_t;\tilde{X}_{t+1}) = H(\tilde{X}_t) - H(\tilde{X}_t|\tilde{X}_{t+1}) = H(\tilde{X}_t) - ((1-Eff) * H(\tilde{X}_t)) = Eff * H(\tilde{X}_t) − </math> − − 其中[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是干预后的因果变量，[math]Eff[/math]为动力学的有效性。由公式可以看出EI的大小与干预的概率分布的熵有关。 − [[Claude Shannon]]在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布，这也是信道能够可靠传输信息的最大速率： − − [math] − C \equiv \max_{p(X)} I(X; Y), − [/math] − − 其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。 − − − 相应的，因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC），因为粗粒化操作本质上可以看作是对输入干预分布的改变，因果容量就是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为： − − [math] − CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X}_{t+1}). − [/math] − − 同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的是最有效的干预下，因果变量之间互信息的最大值。
无编辑摘要
由于粗粒化的过程带来状态空间减小，所以<math>\Delta{I_{Size}}</math>总是为负；若要CE>0，即因果涌现发生，那么<math>\Delta{I_{Eff}}</math>必须为正值，且粗粒化带来的有效性提升幅度要超过状态空间缩减所导致的EI减小的幅度。
由于粗粒化的过程带来状态空间减小，所以<math>\Delta{I_{Size}}</math>总是为负；若要CE>0，即因果涌现发生，那么<math>\Delta{I_{Eff}}</math>必须为正值，且粗粒化带来的有效性提升幅度要超过状态空间缩减所导致的EI减小的幅度。
=== 因果涌现与因果容量 ===
[[Erik Hoel]]还提出因果涌现理论与[[Claude Shannon]]的[[信息论]]之间的联系<ref name="hoel_2017" />。信息论中信息传输需要经过信道，信道由两个变量X和Y组成，分别为信道的输入和输出。对于任意的[math]X[/math]和[math]Y[/math]的取值[math]x,y[/math]，我们可以定义一个转移概率[math]p(y|x)[/math]，且满足：[math]p(y|x) \geq 0[/math]，以及对于每个x，[math]\sum_y p(y|x) = 1[/math]。因此，由所有X和Y的取值，我们可以定义一个信道矩阵（即TPM）。信道的性质显然由该TPM决定。
同样，对于一个马尔科夫动力学的前后两个状态是受限于动力学的，这种因果关系关系也是固定不变的。信道和动力学都可以用转移概率矩阵所描述。因此，一个动力学也可以被看作是一个通信信道。
而以上提到的因果涌现都建立在将初始分布do干预成均匀分布的情况下，即干预分布的熵最大。回顾有效信息的计算公式：
<math>
EI = I(\tilde{X}_t;\tilde{X}_{t+1}) = H(\tilde{X}_t) - H(\tilde{X}_t|\tilde{X}_{t+1}) = H(\tilde{X}_t) - ((1-Eff) * H(\tilde{X}_t)) = Eff * H(\tilde{X}_t)
</math>
其中[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是干预后的因果变量，[math]Eff[/math]为动力学的有效性。由公式可以看出EI的大小与干预的概率分布的熵有关。
[[Claude Shannon]]在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力，信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布，这也是信道能够可靠传输信息的最大速率：
[math]
C \equiv \max_{p(X)} I(X; Y),
[/math]
其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。
相应的，因果涌现理论揭示了系统存在一种类似的因果容量（Causal Capacity, CC），因为粗粒化操作本质上可以看作是对输入干预分布的改变，因果容量就是指系统以最具信息性和最有效的方式将干预转化为效果的能力，定义为：
[math]
CC = \max_{\tilde{X_t}} I(\tilde{X_t}; \tilde{X}_{t+1}).
[/math]
同上有效信息计算中，[math]\tilde{X}_t[/math]和[math]\tilde{X}_{t+1}[/math]是经过粗粒化干预后的因果变量，CC对应的是最有效的干预下，因果变量之间互信息的最大值。
==因果涌现实例==
==因果涌现实例==
后续可以使用[[有效信息]]词条中的源代码，计算TPM的有效信息。
后续可以使用[[有效信息]]词条中的源代码，计算TPM的有效信息。
=参考文献=
=参考文献=
<references/>
<references/>