香农-哈特莱定理 Shannon–Hartley theorem

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
打豆豆（讨论 | 贡献）2020年6月28日 (日) 17:57的版本
跳到导航 跳到搜索

在信息论中，香农-哈特利定理(Shannon–Hartley theorem)给出了在存在噪声的情况下，信息可以通过给定带宽的通信信道中传输的最大速率。香农-哈特利定理是有噪声信道编码定理在连续时间模拟通信信道中受高斯噪声影响的原型情况中的一种应用。假设信号功率是有界的，且高斯噪声过程为已知功率或功率谱密度，那么在存在噪声干扰的情况下，香农-哈特利定理为这种通信链路建立了信道容量的界限，即每个时间单元能够以指定带宽传输最多无误差信息的范围。定理以克劳德 · 香农和拉尔夫 · 哈特利命名。

定理内容

香农-哈特利定理给出了信道容量[math]\displaystyle{ C }[/math]的计算方法，表示理论上的信道传输速率的上限可以用信号的平均接受功率[math]\displaystyle{ S }[/math]以任意的较低的错误率通过模拟通信信道传输，并且会受到加性高斯白噪声（AWGN）的影响[math]\displaystyle{ N }[/math]:

：[math]\displaystyle{ C = B\log _{2}{(1+\frac{S}{N})} }[/math]

其中:

  • [math]\displaystyle{ C }[/math]为信道容量，单位为比特每秒或者奈特每秒等。为理论上的不包含纠错码的最大比特率（即信息速率，也可用[math]\displaystyle{ I }[/math]表示），也就是信道无差别传输信息时的最大信息传输速率，反映了信道的传输能力。
  • [math]\displaystyle{ B }[/math]是信道的带宽，单位为赫兹（在带通信号的情况下为通带带宽）；
  • [math]\displaystyle{ S }[/math]是带宽上的平均接收信号功率（在载波调制通带传输的情况下，通常表示为[math]\displaystyle{ C }[/math]），以瓦特（或伏特的平方）为单位；
  • [math]\displaystyle{ N }[/math]是在带宽上的噪声干扰的平均功率，以瓦特（或伏特的平方）为单位；
  • [math]\displaystyle{ \frac{S}{N} }[/math]为信噪比（SNR）。

历史发展

在1920年代后期，哈里·奈奎斯特（Harry Nyquist）和拉尔夫·哈特利（Ralph Hartley）在当时以电报作为主要通信方式的背景下，提出了信息传输的基本思想。在当时的条件下，其理论具有极大的突破性，但是却没有统一为一个系统的理论概念。1940年代，克劳德·香农（Claude Shannon）基于奈奎斯特（Nyquist）和哈特利（Hartley）的思想提出了信道容量的概念，然后制定了完整的信息及其传播的理论。

奈奎斯特速率 Nyquist rate

1927年，奈奎斯特发现单位时间可通过电报信道发送的独立脉冲数最大只能为该信道带宽的两倍。公式表示如下：

[math]\displaystyle{ f_{p} \lt 2B }[/math]

其中[math]\displaystyle{ f_{p} }[/math]为脉冲频率(单位为脉冲/s)，[math]\displaystyle{ B }[/math]为带宽（单位为赫兹）。公式中，2B后来被称为奈奎斯特速率，表示传输的极限速率为2B脉冲每秒。奈奎斯特在1928年发表该研究成果在论文《Certain topics in Telegraph Transmission Theory》中。

哈特利定律 Hartley's law

1928年，哈特利提出了一种量化信息及其线速（也被称之为数据信令速率，R比特每秒）的方法。这种方法后来被称之为哈特利定律，为香农提出更加复杂的信道容量的概念奠定了基础。

哈特利认为，在保证可靠性的条件下，信道中能够传输和接收的可分辨的最大脉冲会受到两个因素的影响和限制，一个为信号振幅的动态范围，另一个为接收机能够分辨的振幅电平的精度。具体来说，如果发射信号的振幅大小范围为[-A,+A]伏，接收机的精度为±ΔV伏，那么不同的脉冲的最大值[math]\displaystyle{ M }[/math]满足以下公式：

[math]\displaystyle{ M = 1 + \frac{A}{\bigtriangleup V} }[/math]

通过将每个脉冲中的Bit/脉冲中的信息作为可以发送的不同消息M的数量的2的对数，Hartley[1]构造了一种测量线速R的方法： 然后可以根据一下公式计算出先速率R的值：

[math]\displaystyle{ R = f_{p}\log _{2}{M} }[/math]

公式中[math]\displaystyle{ f_{p} }[/math]为脉冲速率，也称之为符号率，单位为符号/秒(symbols/second)或波特(baud)。


哈特利(Hartley)随后将上述量化结论与奈奎斯特的观察结合起来，观察到可以通过带宽信道放置的独立脉冲数 {\ displaystyle B}B赫兹原为{\ displaystyle 2B}2B 每秒脉冲数，以得出可达到的线路速率的量化指标。

哈特利定律有时候被用来描述两种比例关系，一是以赫兹为单位的模拟带宽B[2]，二是以比特/s为单位的数字带宽。哈特利定律还被用来计算线速率R的取值范围[3]：

[math]\displaystyle{ R \leq 2B\log _{2}{M} }[/math]

哈特利并没有准确的给出M应该如何依赖信道的噪声统计方法，且无法在将单个符号脉冲可靠的计算M电平数的情况下，使通信可靠。所以在高斯噪声存在时，系统设计者需要选择非常保守的M值，从而降低错误率。

在哈特利对信道对数度量的观察和奈奎斯特的带宽限制的基础上，香农提出了无差错容量的概念。

哈特利定律可以看作是无误差M信道的容量为2B每秒的符号。有些研究者将其称之为容量。但是这种无误差的信道是理想条件下的，如果M足够小以至于使有噪声的信道几乎没有误差，那么计算结果必然会小于带宽的有噪信道带宽B，即为之后香农-哈特莱定理。

噪声的信道编码定理和容量

香农定理展示了如何根据信道的统计描述来计算信道容量，并建立了给定噪声容量为C且信道速率为线速传输信息的信道{\ displaystyle R}R，如果

克劳德香农（Claude Shannon）在第二次世界大战中对信息论的研究为在有噪信道中进行可靠信息传输的突破提供了基础。香农的噪声信道编码定理（1948）建立在哈特利的基础上，描述了纠错方法相对于噪声干扰和数据破坏的最大可能效率[4][5]。通过对这些随机码的统计证明了该定理所定义的随机纠错码与最佳代码效果同样好。

香农定理展示了怎样通过对通道进行统计学描述去计算通道容量，并且证明了在一个有容量[math]\displaystyle{ C }[/math]的噪声信道中，信息以一个线速率[math]\displaystyle{ R }[/math]传输时，有：

[math]\displaystyle{ R \lt C }[/math]

此时的可以理解为存在一种编码方式可以使得接收端的出错率任意小。这意味着从理论上来讲，几乎可以毫无差错的传输信息，最高可以达到[math]\displaystyle{ C }[/math]位每秒的速率上限。

上面的不等式反过来同样重要：

[math]\displaystyle{ C \lt R }[/math]

反过来的含义为：随着速率的增加，接收端的错误率会一直增加。所以超过信道容量后就不能传输。但是该定理没有解决速率和容量相等的情况（R=C）。

在Shannon–Hartley定理考虑的信道中，噪声和信号通过加法合并。也就是说，接收器测量的信号等于编码所需信息的信号与代表噪声的连续随机变量之和。这种加法产生了原始信号值的不确定性。如果接收器具有有关产生噪声的随机过程的某些信息，则原则上可以通过考虑噪声过程的所有可能状态来恢复原始信号中的信息。在Shannon–Hartley定理的情况下，假定噪声是由具有已知方差的高斯过程产生的。由于高斯过程的方差等于其幂，因此通常将此方差称为噪声功率。

这样的通道称为加性高斯白噪声通道，因为高斯噪声被添加到信号中。“白色”表示在信道带宽内的所有频率上相等数量的噪声。这种噪声既可能来自随机能源，也可能分别来自发送方和接收方的编码和测量误差。由于独立的高斯随机变量之和本身就是高斯随机变量，因此，如果人们假设这样的误差源也是高斯且独立的，则可以方便地简化分析。

香农-哈特利定理定义了受高斯噪声影响的有限带宽连续时间信道的传输容量。它将哈特利的结果与香农的信道容量定理联系起来，其形式等效于将香农信道容量公式中的信噪比替换成哈特利的线速公式中的M，但是是通过纠错编码来实现可靠性而不是可区分的脉冲电平来实现。

如果存在无噪声的模拟信道，那么每单位时间就可以传输无限量的无错数据(注意：无限带宽模拟通道不能传输无限量的无错误数据，没有无限的信号功率)。 然而，实际信道会受到有限带宽和非零噪声的限制。

带宽和噪声会影响信息在模拟信道上的传输速率。带宽限制本身并不限制最大信息传输速率，因为信号仍然可能在每个符号脉冲上承受无限多的不同电平，每个不同的电平被赋予不同的含义或位序列。 但是，考虑到噪声和带宽限制，采用复杂的多级编码技术，必然也会限制有限功率的信号传输的信息量。

定理含义

香农的信道容量定律和哈特莱定律比较

根据哈特利定律将信道容量与信息速率进行比较，我们可以找到可区分级别的有效数量M[6]：

[math]\displaystyle{ 2B2B\log _{2}{M} = B2B\log _{2}{(1+ \frac{S}{N})} }[/math]

[math]\displaystyle{ M = \sqrt{1 + \frac{S}{N}} }[/math]

平方根有效地将功率比转换回电压比，因此电平数大约与信号RMS幅度与噪声标准偏差之比成正比。

频率相关(有色噪声)的情况

在前面的内容中，信号和噪声是完全不相关的，所以[math]\displaystyle{ S + N }[/math]是接收信号和噪声的总功率。一般而言，对于上述方程在加性噪声不是白噪声的情况下，s+N不是常数，气对于加性噪声不是白噪声的情况（或S/N在带宽上的频率上不是恒定的）,通过将信道并行地看作许多窄的、独立的高斯信道，可以得到上述方程: 在上面的简单版本中，信号和噪声是完全不相关的，在这种情况下[math]\displaystyle{ S + N }[/math]是接收信号和噪声的总功率。对于加性噪声不是白噪声的情况（或[math]\displaystyle{ S / N }[/math]在整个带宽上频率不恒定）是通过将信道视为平行的许多窄的独立高斯信道来获得的：

[math]\displaystyle{ C = \int_{0}^{B}log_{2}{(1 + \frac{S(f)}{N(f)})}df }[/math]

其中

  • [math]\displaystyle{ C }[/math]为信道容量，单位为比特每秒
  • [math]\displaystyle{ B }[/math]为信道的带宽，单位为赫兹
  • [math]\displaystyle{ S(f) }[/math]为信号的功率谱
  • [math]\displaystyle{ N(f) }[/math]为噪声功率谱
  • [math]\displaystyle{ f }[/math]为频率，单位为赫兹

注意：该定理仅适用于高斯平稳过程噪声。此公式引入依赖于频率的噪声的方法无法描述所有连续时间的噪声过程。例如，考虑噪声处理，该噪声处理包括在任何时间点添加振幅为1或-1的随机波，以及将此类波添加到源信号的通道。这样的波的频率分量是高度相关的。尽管这样的噪声可能具有较高的功率，但如果基础噪声是每个频带中独立噪声的总和，则发射功率要比其所需功率低得多的连续信号相当容易

该公式仅适用于高斯平稳过程。

近似计算

对于较大或较小且恒定的信噪比，容量公式可以近似为：

有限带宽

当SNR较大时(S/N>1)，对数近似为

[math]\displaystyle{ log_{2}{(1 + \frac{S}{N})} \approx log_2{\frac{S}{N}} = \frac{ln10}{ln2}\cdot log_{10}{\frac{S}{N}} \approx 3.32\cdot log_{10}{\frac{S}{N}} }[/math]

此情况下，信道容量在功率上取对数，而在带宽上是近似线性的（N还会随着带宽的增加而增加，从而产生对数效应，所以是近似线性）。称为有限带宽机制。

[math]\displaystyle{ C \approx 3.32\cdot B \cdot SNR(in dB) }[/math]

其中

[math]\displaystyle{ SNR(in dB) = 10 log_{10}{\frac{S}{N}} }[/math]

有限功率

类似地，当SNR较小时（S/N << 1），则可以使用对数的近似值：

[math]\displaystyle{ log_{2}{(1 + \frac{S}{N})} = \frac{1}{ln2} \cdot ln(1 + \frac{S}{N}) \approx \frac{1}{ln2} \cdot \frac{S}{N} \approx 1.44 \cdot \frac{S}{N} }[/math]

此时信道容量是线性变化的。称为有限功率机制

[math]\displaystyle{ C \approx 1.44\cdot B \cdot \frac{S}{N} }[/math]

这种低SNR近似值时，如果噪声为白噪声，则容量与带宽无关，且频谱密度较高。谱密度为[math]\displaystyle{ N_{0} }[/math]的时候，总的噪声功率为[math]\displaystyle{ N = B \cdot N_{0} }[/math]。

[math]\displaystyle{ C \approx 1.44 \cdot \frac{S}{N} }[/math]

相关阅读

参考文献

  1. ↑ D. A. Bell (1962). Information Theory; and its Engineering Applications (3rd ed.). New York: Pitman. 
  2. ↑ Anu A. Gokhale (2004). Introduction to Telecommunications (2nd ed.). Thomson Delmar Learning. ISBN 1-4018-5648-9. https://books.google.com/books?id=QowmxWAOEtYC&pg=PA37&dq=%22hartley%27s+law%22+proportional. 
  3. ↑ John Dunlop and D. Geoffrey Smith (1998). Telecommunications Engineering. CRC Press. ISBN 0-7487-4044-9. https://books.google.com/books?id=-kyPyn3Dst8C&pg=RA4-PA30&dq=%22hartley%27s+law%22. 
  4. ↑ C. E. Shannon (1998) [1949]. The Mathematical Theory of Communication. Urbana, IL:University of Illinois Press. 
  5. ↑ C. E. Shannon (January 1949). "Communication in the presence of noise" (PDF). Proceedings of the Institute of Radio Engineers. 37 (1): 10–21. Archived from the original (PDF) on 2010-02-08.
  6. ↑ John Robinson Pierce (1980). An Introduction to Information Theory: symbols, signals & noise. Courier Dover Publications. ISBN 0-486-24061-4. https://archive.org/details/introductiontoin00john. "information intitle:theory inauthor:pierce." 

延伸阅读

  • Calder, W. A. (1984). Size, function and life history. Harvard University Press. ISBN 0-674-81070-8.
  • McMahon, T. A.; Bonner, J. T. (1983). On Size and Life. Scientific American Library. ISBN 0-7167-5000-7.
  • Niklas, K. J. (1994). Plant allometry: The scaling of form and process. University of Chicago Press. ISBN 0-226-58081-4.
  • Peters, R. H. (1983). The ecological implications of body size. Cambridge University Press. ISBN 0-521-28886-X.
  • Reiss, M. J. (1989). The allometry of growth and reproduction. Cambridge University Press. ISBN 0-521-42358-9.
  • Schmidt-Nielsen, K. (1984). Scaling: why is animal size so important?. Cambridge: Cambridge University Press. ISBN 0-521-31987-0.
  • Samaras, Thomas T. (2007). Human body size and the laws of scaling: physiological, performance, growth, longevity and ecological ramifications. Nova Publishers. ISBN 1-60021-408-8.

编者推荐

视频推荐

香农定理的容量公式

加性白噪声高斯信道（AWGN）的特殊情况下的信道容量方程式很简单。该方程通常被称为“香农容量方程”或“香农-哈特利定理”。该视频对方程进行了详细的解读。


书籍推荐

《香农传》

香农传.jpg《香农传》 克劳德·香农，从零开始构建出一门全新的科学，奠定了当今信息时代的基础。他率性地工作，严肃地游戏，从不认为这两者之间有区别，并为任何吸引他注意力的好奇心而感到高兴。他将枯燥的技术性科学转变为大量富有魅力的谜题，而解决谜题的方法是成年人的游戏之道。


集智文章推荐

香农：无缘诺奖的信息论之父，却在不同时空与22位科学家相遇

克劳德·埃尔伍德·香农（Claude Elwood Shannon），美国数学家，提出了信息熵的概念，奠定了信息论和数字通信的基础。虽然无缘诺贝尔奖，但香农的研究却与各个领域的顶尖学者产生过交集。陈关荣教授在本文中整理了22位科学家与香农跨时空的“meet”。


本中文词条由Jake参与编译，打豆豆、薄荷编辑，欢迎在讨论页面留言。

本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。

取自“https://wiki.swarma.org/index.php?title=香农-哈特莱定理_Shannon–Hartley_theorem&oldid=9812”