Claude Shannon 在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力,信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布,这也是信道能够可靠传输信息的最大速率:[math]C \equiv \max_{p(X)} I(X; Y)[/math],其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。 | Claude Shannon 在信息论中提出信道具有一定的容量。信道容量是指信道以最具信息性和可靠性的方式将输入转化为输出的能力,信道中信息传输的速率对输入概率分布 [math]p(X)[/math] 的变化非常敏感。信道容量 (C) 定义为使互信息达到最大值的输入变量分布,这也是信道能够可靠传输信息的最大速率:[math]C \equiv \max_{p(X)} I(X; Y)[/math],其中[math]I(X; Y)[/math]是输入和输出之间的[[互信息]]。 |