5,443
个编辑
更改
→因果容量近似通道容量
=== 因果容量近似通道容量 ===
=== 因果容量近似通道容量 ===
使用系统所有因果容量的因果模型有一个有关联的[math]I_D[/math]，它以与使用所有通道容量的输入分布方式相同：在通道使用期间仅发送可能消息的子集。然而，因果容量受到通道容量的限制，它们并不总是相同的。由于[math]I_D[/math]的扭曲是模型选择的函数，模型选择以各种方式(可能分布中的子集)受到约束，因此因果容量是更一般形式的信道容量(在所有可能分布上定义)的特殊情况。粗粒度是通过移动到宏观尺度来操纵(扭曲)[math]I_D[/math]的一种方法。这不是更改[math]I_D[/math](和关联[math]E_D[/math])的唯一方法。在对一个系统进行因果建模时所做的选择，包括选择创建因果模型的尺度，也包括选择初始条件，以及将变量分类为因果模型的外生或内生(“黑箱”)，都是模型选择的形式，都可以扭曲ID和改变ED，导致因果出现。
例如，考虑一个由8个状态组成的马尔可夫链系统:
例如，考虑一个由8个状态组成的马尔可夫链系统:
</math>
</math>
其中链中的一些状态在转换过程中是完全随机的。如果[math]I_D[/math]为[math]H_{max}[/math]，则[math]EI = 0.63 bits[/math]。然而，每个因果模型都隐含地将变量分类为模型的内生或外生变量。例如，在这里，我们可以将最后两种状态(s7, s8)作为宏观因果模型的内生状态，而将其余状态作为外生状态。从状态空间减小的角度出发，这个限制带来的仍然是一个宏观模型。对于系统的宏观因果模型[math]EI = 1 bit[/math]，意味着因果涌现发生，再次因为[math]I_D[/math]被模型选择扭曲。这种扭曲本身可以量化为干预分布[math]H(I_D)[/math]中的熵损失:
<math>
<math>
将带噪声或退化状态置为因果模型的外生状态可以导致因果涌现，所以这里可以设置一些外生元素。
将带噪声或退化状态置为因果模型的外生状态可以导致因果涌现，所以这里可以设置一些外生元素。
值得注意的是，有多种方法可以将元素设置为外生(不显式地将它们包含在宏观模型中)。例如，外生因素通常是因果模型中隐含的背景假设。这样的背景条件可以包括为因果分析将外生元素设置为特定状态(冻结)，或将系统设置为初始条件。或者，可以允许元素在应用的ID的影响下变化。后一种形式被称为“黑箱”，元素的内部工作或在系统中的作用是无法查看的(41,42)。在图8中，两种类型的模型选择显示在确定性互连逻辑门的系统中。每个模型选择都会导致因果涌现。
值得注意的是，有多种方法可以将元素设置为外生(不显式地将它们包含在宏观模型中)。例如，外生因素通常是因果模型中隐含的背景假设。这样的背景条件可以包括为因果分析将外生元素设置为特定状态(冻结)，或将系统设置为初始条件。或者，可以允许元素在应用的[math]I_D[/math]的影响下变化。后一种形式被称为“黑箱”，元素的内部工作或在系统中的作用是无法查看的(41,42)。在图8中，两种类型的模型选择显示在确定性互连逻辑门的系统中。每个模型选择都会导致因果涌现。
与其在因果模型的构建中精确地规定什么类型的模型选择是“允许的”，不如区分出一个更普遍的原则：通过模型构建选择扭曲[math]I_D[/math]的方法越多，因果容量就越接近实际通道容量。例如，考虑图9A中的系统。在图9B中，显示了一个宏观尺度，它使用各种类型的模型选择(通过粗粒度，黑盒元素，并为外生元素设置特定的初始条件)来演示因果涌现。如图10所示，模型选择的自由度越大，因果容量越接近通道容量。在模拟了数百万个随机概率分布p(X)，寻找最大I的概率分布后，通过梯度上升找到了该系统的通道容量。模型选择使微观尺度[math]I_D[/math]向p(X)靠拢，如图10B所示。随着模型选择的增加，[math]EI_{max}[/math]接近信道容量的[math]I_{max}[/math] (图10C)。
图8 9 10
图8 9 10