更改

::<math>H(X) = -\sum_{i=1}^n p(x_i) \log p(x_i).</math>

::<math>H(X) = -\sum_{i=1}^n p(x_i) \log p(x_i).</math>

在发送消息的情况下，这些概率是实际发送特定消息的概率，而消息系统的熵是对消息中平均信息量的度量。对于相等概率的情况（即，每条消息均具有同等概率），香农熵（以位为单位）只是确定消息内容所需的是/否问题的数量。<ref name="Perplexed" />

在发送消息的情况下，这些概率是实际发送特定消息的概率，而消息系统的熵是对消息中平均信息量的度量。对于相等概率的情况（即，每条消息均具有同等概率），香农熵（以位为单位）只是确定消息内容所需的是/否问题的数量。<ref name="Perplexed" />

::<math>H = -\sum_{i=1}^W p \log (p)= \log (W)</math>

::<math>H = -\sum_{i=1}^W p \log (p)= \log (W)</math>

如果以k / nat 为单位来衡量熵，那么熵可以通过以下公式给出<ref>{{cite web|url=http://bayes.wustl.edu/etj/node1.html|title=Edwin T. Jaynes – Bibliography|publisher=Bayes.wustl.edu|date=1998-03-02|accessdate=2009-12-06}}</ref>：

如果以k / nat 为单位来衡量熵，那么熵可以通过以下公式给出<ref>{{cite web|url=http://bayes.wustl.edu/etj/node1.html|title=Edwin T. Jaynes – Bibliography|publisher=Bayes.wustl.edu|date=1998-03-02|accessdate=2009-12-06}}</ref>：

::<math>H = k \log (W)</math>

::<math>H = k \log (W)</math>

当k是玻尔兹曼常数时，这就是著名的[https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula 玻尔兹曼熵]公式，这可以解释为每纳特的热力学熵。有许多种方法可以证明“信息熵”和“物理熵”的等价性，即“香农熵”和“玻尔兹曼熵”的等价性。然而，一些作者主张放弃信息论中H函数的熵一词，而改用Shannon的另一个术语“不确定性”。<ref>Schneider, Tom, DELILA system (Deoxyribonucleic acid Library Language), (Information Theory Analysis of binding sites), Laboratory of Mathematical Biology, National Cancer Institute, Frederick, MD</ref>

当k是玻尔兹曼常数时，这就是著名的[https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula 玻尔兹曼熵]公式，这可以解释为每纳特的热力学熵。有许多种方法可以证明“信息熵”和“物理熵”的等价性，即“香农熵”和“玻尔兹曼熵”的等价性。然而，一些作者主张放弃信息论中H函数的熵一词，而改用Shannon的另一个术语“不确定性”。<ref>Schneider, Tom, DELILA system (Deoxyribonucleic acid Library Language), (Information Theory Analysis of binding sites), Laboratory of Mathematical Biology, National Cancer Institute, Frederick, MD</ref>

===熵的实验测量===

===熵的实验测量===