信息论 - 版本历史

2025年11月23日 (日) 06:13 Jake

2025-11-23T06:13:38Z

2025年11月23日 (日) 06:12 Jake

2025-11-23T06:12:21Z

13944556914：13944556914移动页面信息论 Information theory至信息论覆盖重定向

2024-06-03T08:34:29Z

13944556914移动页面信息论 Information theory至信息论覆盖重定向

2024年6月3日 (一) 08:34 13944556914

2024-06-03T08:34:20Z

2021年3月13日 (六) 08:17 Pjhhh

2021-03-13T08:17:01Z

2021年3月13日 (六) 08:16 Pjhhh

2021-03-13T08:16:43Z

薄荷：薄荷移动页面信息论至信息论 Information theory

2020-11-21T15:35:39Z

薄荷移动页面信息论至信息论 Information theory

薄荷：/* 信源的熵 */

2020-11-21T15:34:52Z

信源的熵

薄荷：/* 历史背景 */

2020-11-21T15:34:26Z

历史背景

2020年11月21日 (六) 15:34 薄荷

2020-11-21T15:34:09Z

@@ 第3行： / 第3行： @@
 |description=信息论,信息时代,正规科学,控制论,计算机科学
 }}
-'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。[[整合信息理论]]是一种新型的信息论。
+'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
 该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}

@@ 第3行： / 第3行： @@
 |description=信息论,信息时代,正规科学,控制论,计算机科学
 }}
-'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
+'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。[[整合信息理论]]是一种新型的信息论。
 该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}

@@ 第3行： / 第3行： @@
 |description=信息论,信息时代,正规科学,控制论,计算机科学
 }}
-'''信息论 Information theory'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
+'''信息论 （Information theory）'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
 该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}
@@ 第69行： / 第69行： @@
 [[File:Binary entropy plot.svg|thumbnail|right|200px| 伯努利实验的熵，作为一个成功概率的函数，通常被称为二值熵函数, {{math|''H''<sub>b</sub>(''p'')}}。当使用一个无偏的硬币做实验时，两个可能结果出现的概率相等，此时的熵值最大，为1。]]
-如果一个人发送了1000比特（0s和1s），然而接收者在发送之前就已知这串比特序列中的每一个位的值，显然这个通信过程并没有任何信息（译注：如果你要告诉我一个我已经知到的消息，那么本次通信没有传递任何信息）。但是，如果消息未知，且每个比特独立且等可能的为0或1时，则本次通信传输了1000香农的信息（通常称为“比特”）。在这两个极端之间，信息可以按以下方式进行量化。如果𝕏是{{math|''X''}}可能在的所有消息的集合{{math|{''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}，且{{math|''p''(''x'')}}是<math>x \in \mathbb X</math>的概率，那么熵、{{math|''H''}}和{{math|''H''}}的定义如下: <ref name = Reza>{{cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | origyear = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22}}</ref>
+如果一个人发送了1000比特（0s和1s），然而接收者在发送之前就已知这串比特序列中的每一个位的值，显然这个通信过程并没有任何信息（译注：如果你要告诉我一个我已经知到的消息，那么本次通信没有传递任何信息）。但是，如果消息未知，且每个比特独立且等可能的为0或1时，则本次通信传输了1000香农的信息（通常称为“比特”）。在这两个极端之间，信息可以按以下方式进行量化。如果𝕏是{{math|''X''}}可能在的所有消息的集合{{math|{''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}，且{{math|''p''(''x'')}}是<math>x \in \mathbb X</math>的概率，那么熵、{{math|''H''}}和{{math|''H''}}的定义如下: <ref name="Reza">{{cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | origyear = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22}}</ref>
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
@@ 第94行： / 第94行： @@
 ===条件熵（含糊度）Conditional entropy (equivocation)===
-在给定随机变量{{math|''Y''}}下{{math|''X''}}的'''<font color="#ff8000">条件熵 Conditional Entropy</font>'''（或条件不确定性，也可称为{{math|''X''}}关于{{math|''Y''}}的含糊度)）是{{math|''Y''}}上的平均条件熵： <ref name=Ash>{{cite book | title = Information Theory | author = Robert B. Ash | publisher = Dover Publications, Inc. | origyear = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&pg=PA16&dq=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty}}</ref>
+在给定随机变量{{math|''Y''}}下{{math|''X''}}的'''<font color="#ff8000">条件熵 Conditional Entropy</font>'''（或条件不确定性，也可称为{{math|''X''}}关于{{math|''Y''}}的含糊度)）是{{math|''Y''}}上的平均条件熵： <ref name="Ash">{{cite book | title = Information Theory | author = Robert B. Ash | publisher = Dover Publications, Inc. | origyear = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&pg=PA16&dq=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty}}</ref>
 :<math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>

@@ 第437行： / 第437行： @@
 <br/>
 ----
-本中文词条由[[用户:Pjhhh|Pjhhh]][[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]]  审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。
+本中文词条由[[用户:Pjhhh|Pjhhh]]、[[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]]  审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
 [[分类: 信息时代]] [[分类: 正规科学]] [[分类:  控制论]] [[分类: 计算机科学]]

@@ 第437行： / 第437行： @@
 <br/>
 ----
-本中文词条由[[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]]  审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。
+本中文词条由[[用户:Pjhhh|Pjhhh]][[用户:Moonscar|Moonscar]]参与编译， [[用户:Qige96|Ricky]]  审校，[[用户:不是海绵宝宝|不是海绵宝宝]]、[[用户:唐糖糖|唐糖糖]]编辑，欢迎在讨论页面留言。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''
 [[分类: 信息时代]] [[分类: 正规科学]] [[分类:  控制论]] [[分类: 计算机科学]]

@@ 第73行： / 第73行： @@
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
-(其中:{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献；{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大； 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。
+(其中：{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献；{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大； 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。
 对于只有两种可能取值的随机变量的信息熵，其特殊情况为二值熵函数（通常用以为底2对数，因此以香农(Sh)为单位）：

@@ 第32行： / 第32行： @@
 信息论背后的许多数学理论（包括不同概率的事件）都是由[[路德维希·玻尔兹曼 Ludwig Boltzmann]]和[[约西亚·威拉德·吉布斯 J. Willard Gibbs]]为热力学领域开发出来的。
- Shannon的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里， Shannon将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：
+Shannon的那篇革命性的、开创性的论文，于1944年的年底便已基本在贝尔实验室完成。在这论文里， Shannon将通信看作一个统计学过程，首次提出了通信的量化模型，并以此为基础推导出了信息论。论文开篇便提出了一下论断：
 ''<blockquote>“The basic problem of communication is the accurate or approximate representation at one point of selected information at another point.”<br>

@@ 第3行： / 第3行： @@
 |description=信息论,信息时代,正规科学,控制论,计算机科学
 }}
-信息论 Information Theory研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
+'''信息论 Information theory'''研究的是信息的量化、存储与传播。信息论最初是由[[克劳德·香农 Claude Shannon]]在1948年的一篇题为'''<font color="#ff8000">《一种通信的数学理论 A Mathematical Theory of Communication 》</font>'''的里程碑式论文中提出的，其目的是找到信号处理和通信操作（如数据压缩）的基本限制。信息论对于旅行者号深空探测任务的成功、光盘的发明、移动电话的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的理解以及许多其他领域的研究都是至关重要的。
 该领域是数学、统计学、计算机科学、物理学、神经生物学、信息工程和电气工程的交叉学科。这一理论也在其他领域得到了应用，比如推论统计学、自然语言处理、密码学、神经生物学<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref>、人类视觉<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref>、分子编码的进化、和功能（生物信息学）、统计学中的模型选择<ref>Burnham, K. P. and Anderson D. R. (2002) ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science, New York)}}.</ref>、热物理学<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620}}</ref> 、量子计算、语言学、剽窃检测<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=Scientific American|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}}</ref>、模式识别和异常检测<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|author=David R. Anderson|date=November 1, 2003|archiveurl=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archivedate=July 23, 2011|url-status=dead|accessdate=2010-06-23}}
@@ 第45行： / 第45行： @@
 * '''<font color="#ff8000">香农-哈特利定律 Shannon–Hartley law</font>'''应用于高斯信道的信道容量的结果；
-* '''<font color="#ff8000">比特 bit</font>'''——一种新的度量信息的最基本单位
+* '''<font color="#ff8000">比特 bit</font>'''——一种新的度量信息的最基本单位。
 ==信息的度量==
@@ 第73行： / 第73行： @@
 :<math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x)</math>
-(其中:{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献;{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大; 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。
+(其中:{{math|''I''(''x'')}}是[[自信息]]，表示单个信息的熵贡献；{{math|''I''(''x'')}}{{math|𝔼<sub>''X''</sub>}}为{{math|''X''}}的期望。)熵的一个特性是，当消息空间中的所有消息都是等概率{{math|1=''p''(''x'') = 1/''n''}}时熵最大； 也就是说，在{{math|1=''H''(''X'') = log ''n''}}这种情况下，熵是最不可预测的。
 对于只有两种可能取值的随机变量的信息熵，其特殊情况为二值熵函数（通常用以为底2对数，因此以香农(Sh)为单位）：
@@ 第175行： / 第175行： @@
 '''<font color="#ff8000">信息速率 Information Rate</font>'''（熵率）是每个符号的平均熵。对于无记忆信源，信息速率仅表示每个符号的熵，而在平稳随机过程中，它是：
-:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>
+:<math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots)</math>；
 也就是，给定所有之前生成的符号下，一个符号的条件熵。对于非平稳的过程的更一般情况，平均速率为：
-:<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);</math>
+:<math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n)</math>；
 也就是每个符号的联合熵的极限。对于平稳源，这两个表达式得出的结果相同。<ref>{{cite book | title = Digital Compression for Multimedia: Principles and Standards | author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&pg=PA56&dq=entropy-rate+conditional#PPA57,M1 | isbn = 1-55860-369-7 }}</ref>