5,443
个编辑
更改
跳到导航
跳到搜索
第224行：
第224行： − 图7+ + +
→有效信息与香农熵的关系
要通过具有以上属性的信道矩阵发送信息，需要定义一些编码/解码函数。信息可能是一些二进制字符串，例如，通过某个[math]I_D[/math]生成的{001011010011}。编码函数φ: {message}→{encoder}是一个规则，它将一些信道输入和一些输出，以及一些解码函数ψ联系起来。编码/解码函数一起创建了码本。
要通过具有以上属性的信道矩阵发送信息，需要定义一些编码/解码函数。信息可能是一些二进制字符串，例如，通过某个[math]I_D[/math]生成的{001011010011}。编码函数φ: {message}→{encoder}是一个规则，它将一些信道输入和一些输出，以及一些解码函数ψ联系起来。编码/解码函数一起创建了码本。
[[文件:图7作为信息渠道的因果模型.png|缩略图|左]]
我们现在可以定义宏观与微观尺度的编码：微观尺度编码对应从φ : {x1, x2, x3, x4} → {00, 01, 10, 11} 的一一映射，解码函数：ψ : {00, 01, 10, 11}→ {y1, y2, y3, y4}，每个微观状态 x 都携带其独特的信息。以这种方式干预系统的熵[math]H(I_D) = 2 bits[/math]，因为它的四种可能状态是连续的随机干预(因此[math]p(1) = 0.5[/math])。每个码指定一个传输速率[math]R = n/t[/math]，其中[math]t[/math]是系统的每次状态转换，[math]n[/math]是每次转换发送的比特数。上述系统的微观尺度编码速率[math]R = 2 bits[/math]，但这2 bits发送并不可靠。这是因为[math]H(I_D \mid E_D)[/math]比较大:1.19 bits，所以[math]I(I_D; E_D) = H(I_D)−H(I_D \mid E_D) = 0.81 bits[/math]。在实际应用中，这意味着如果想要发送消息{00,10,11,01,00,11}，这将需要使用6个通道，并且出现大量错误的可能性非常高。这是因为速率R超过了微观尺度的容量。
我们现在可以定义宏观与微观尺度的编码：微观尺度编码对应从φ : {x1, x2, x3, x4} → {00, 01, 10, 11} 的一一映射，解码函数：ψ : {00, 01, 10, 11}→ {y1, y2, y3, y4}，每个微观状态 x 都携带其独特的信息。以这种方式干预系统的熵[math]H(I_D) = 2 bits[/math]，因为它的四种可能状态是连续的随机干预(因此[math]p(1) = 0.5[/math])。每个码指定一个传输速率[math]R = n/t[/math]，其中[math]t[/math]是系统的每次状态转换，[math]n[/math]是每次转换发送的比特数。上述系统的微观尺度编码速率[math]R = 2 bits[/math]，但这2 bits发送并不可靠。这是因为[math]H(I_D \mid E_D)[/math]比较大:1.19 bits，所以[math]I(I_D; E_D) = H(I_D)−H(I_D \mid E_D) = 0.81 bits[/math]。在实际应用中，这意味着如果想要发送消息{00,10,11,01,00,11}，这将需要使用6个通道，并且出现大量错误的可能性非常高。这是因为速率R超过了微观尺度的容量。