第3行: |
第3行: |
| |description=薛定谔,生命是什么?,自由熵 | | |description=薛定谔,生命是什么?,自由熵 |
| }} | | }} |
− | 在<font color="#ff8000">信息论 information theory</font>和<font color="#ff8000">统计学 statistics</font>中,<font color="#ff8000">负熵 negentropy</font>被用于度量与正态分布之间的距离。“负熵”这一概念是[[埃尔温·薛定谔 Erwin Schrödinger]]在他1944年的科普著作<font color="#ff8000">《生命是什么? What is Life?》 </font>中首次提出,<ref>Schrödinger, Erwin, ''What is Life – the Physical Aspect of the Living Cell'', Cambridge University Press, 1944</ref>后来[[莱昂·布里渊 Léon Brillouin]]把这个短语缩写为“负熵”。<ref>Brillouin, Leon: (1953) "Negentropy Principle of Information", ''J. of Applied Physics'', v. '''24(9)''', pp. 1152–1163</ref><ref>Léon Brillouin, ''La science et la théorie de l'information'', Masson, 1959</ref>1974年,阿尔伯特·圣捷尔吉 Albert Szent-Györgyi提出用“同向”这个可能源于20世纪40年代意大利数学家Luigi fantappi的术语来代替“负熵”以建立一个生物学和物理学的统一理论。虽然巴克敏斯特·福乐 Buckminster Fuller试图推广这一思想,但是迄今为止负熵仍更为人们广泛使用。 | + | 在[[信息论 information theory]]和[[统计学 statistics]]中,'''负熵 negentropy'''被用于度量与正态分布之间的距离。“负熵”这一概念是[[埃尔温·薛定谔 Erwin Schrödinger]]在他1944年的科普著作'''《生命是什么? What is Life?》'''中首次提出,<ref>Schrödinger, Erwin, ''What is Life – the Physical Aspect of the Living Cell'', Cambridge University Press, 1944</ref>后来[[莱昂·布里渊 Léon Brillouin]]把这个短语缩写为“负熵”。<ref>Brillouin, Leon: (1953) "Negentropy Principle of Information", ''J. of Applied Physics'', v. '''24(9)''', pp. 1152–1163</ref><ref>Léon Brillouin, ''La science et la théorie de l'information'', Masson, 1959</ref>1974年,阿尔伯特·圣捷尔吉 Albert Szent-Györgyi提出用“syntropy”(这个可能源于20世纪40年代意大利数学家Luigi fantappi的术语)来代替“negentropy”以建立一个生物学和物理学的统一理论。虽然巴克敏斯特·福乐 Buckminster Fuller试图推广这一思想,但是迄今为止负熵仍更为人们广泛使用。 |
| | | |
| | | |
− | 在《生命是什么?》的一项注释中,薛定谔解释了他使用这个短语的原因。
| + | 在《生命是什么?》的一项注释中,Schrödinger解释了他使用这个短语的原因,如下: |
| | | |
| + | <blockquote>''... if I had been catering for them [physicists] alone I should have let the discussion turn on free energy instead. It is the more familiar notion in this context. But this highly technical term seemed linguistically too near to energy for making the average reader alive to the contrast between the two things.''如果我只为了迎合物理学家们,那么我就会让讨论转向<font color="#ff8000">“热力学自由能 free energy”</font>。在这个语境中,自由能是物理学更熟悉的概念。但是,这个高度专业的术语在语言学上似乎太接近于<font color="#ff8000">能量 energy</font>,以至于普通读者无法生动地看到两者之间的区别。</blockquote> |
| | | |
− | 如果我只为了迎合物理学家们,那么我就会让讨论转向<font color="#ff8000">“[[热力学自由能|自由能 free energy]]”</font>。在这个语境中,自由能是物理学更熟悉的概念。但是,这个高度专业的术语在语言学上似乎太接近于<font color="#ff8000">能量 energy</font>,以至于普通读者无法生动地看到两者之间的区别。
| |
| | | |
− | | + | 2009年,Mahulikar 和 Herwig 将动态有序子系统的负熵重新定义为有序子系统相对于周围混沌的特定熵赤字。<ref>Mahulikar, S.P. & Herwig, H.: (2009) "Exact thermodynamic principles for dynamic order existence and evolution in chaos", ''Chaos, Solitons & Fractals'', v. '''41(4)''', pp. 1939–1948</ref>因此,根据单位质量的熵定义负熵的 SI 单位为(J kg<sup>−1</sup> K<sup>−1</sup>) ,其中(K<sup>−1</sup>)的定义基于单位能量的熵。这个定义表明: 1)动态有序存在的尺度不变的热力学表示,2)动态有序存在和演化的专门物理原理,3)Schrödinger关于负熵的数学解释。 |
− | 2009年,Mahulikar 和 Herwig 将动态有序子系统的负熵重新定义为有序子系统相对于周围混沌的特定熵赤字。<ref>Mahulikar, S.P. & Herwig, H.: (2009) "Exact thermodynamic principles for dynamic order existence and evolution in chaos", ''Chaos, Solitons & Fractals'', v. '''41(4)''', pp. 1939–1948</ref>因此,根据单位质量的熵定义负熵的 SI 单位为(J kg<sup>−1</sup> K<sup>−1</sup>) ,其中(K<sup>−1</sup>)的定义基于单位能量的熵。这个定义表明: | |
− | ::i)动态有序存在的尺度不变的热力学表示,
| |
− | ::ii)动态有序存在和演化的专门物理原理,
| |
− | ::iii)薛定谔关于负熵的数学解释。
| |
| | | |
| | | |
| ==信息论 Information theory == | | ==信息论 Information theory == |
| | | |
| + | 在信息论和统计学中,负熵可用来度量某个分布到正态分布的距离。<ref>Aapo Hyvärinen, [http://www.cis.hut.fi/aapo/papers/NCS99web/node32.html Survey on Independent Component Analysis, node32: Negentropy], Helsinki University of Technology Laboratory of Computer and Information Science</ref><ref>Aapo Hyvärinen and Erkki Oja, [http://www.cis.hut.fi/aapo/papers/IJCNN99_tutorialweb/node14.html Independent Component Analysis: A Tutorial, node14: Negentropy], Helsinki University of Technology Laboratory of Computer and Information Science</ref><ref>Ruye Wang, [http://fourier.eng.hmc.edu/e161/lectures/ica/node4.html Independent Component Analysis, node4: Measures of Non-Gaussianity]</ref> 在所有具有给定均值和方差的分布中,正态分布或高斯分布的熵最大。负熵也用来度量具有与它相同均值和方差的给定分布和正态分布之间熵的差距。因此,负熵总是非负的,在任何线性可逆的坐标变换下都是不变的,当且仅当分布表现为'''高斯分布 Gaussian distribution'''时才变为零。 |
| | | |
− | 在信息论和统计学中,负熵可用来度量某个分布到正态分布的距离。<ref>Aapo Hyvärinen, [http://www.cis.hut.fi/aapo/papers/NCS99web/node32.html Survey on Independent Component Analysis, node32: Negentropy], Helsinki University of Technology Laboratory of Computer and Information Science</ref><ref>Aapo Hyvärinen and Erkki Oja, [http://www.cis.hut.fi/aapo/papers/IJCNN99_tutorialweb/node14.html Independent Component Analysis: A Tutorial, node14: Negentropy], Helsinki University of Technology Laboratory of Computer and Information Science</ref><ref>Ruye Wang, [http://fourier.eng.hmc.edu/e161/lectures/ica/node4.html Independent Component Analysis, node4: Measures of Non-Gaussianity]</ref> 在所有具有给定均值和方差的分布中,正态分布或高斯分布的熵最大。负熵也用来度量具有与它相同均值和方差的给定分布和正态分布之间熵的差距。因此,负熵总是非负的,在任何线性可逆的坐标变换下都是不变的,当且仅当分布表现为<font color="#ff8000">高斯分布 Gaussian distribution</font>时才变为零。
| |
| | | |
− | | + | 负熵定义为: |
− | 负熵定义为
| |
| | | |
| :<math>J(p_x) = S(\varphi_x) - S(p_x)\,</math> | | :<math>J(p_x) = S(\varphi_x) - S(p_x)\,</math> |
第45行: |
第40行: |
| | | |
| | | |
− | [ Willard Gibbs 在1873年展示的可用能量(自由能)图以一个垂直于 v (体积)轴和通过点A的平面为例,A点表示物体的初始状态。MN 是耗散能曲面的交线。Qε 和 Qη 分别是平面''η'' = 0 和 ''ε'' = 0的交线,因此分别与 ε (内能)和 η (熵)轴平行。AD 和 AE 分别代表物体初始状态的能量和熵,AB 和 AC 分别代表物体的有效能(吉布斯能)和熵的容量(在不改变物体能量或增加物体体积的情况下物体可以增加的熵的量)。 | + | [[威拉德·吉布斯 Willard Gibbs]]在1873年展示的可用能量(自由能)图以一个垂直于 v (体积)轴和通过点A的平面为例,A点表示物体的初始状态。MN 是耗散能曲面的交线。Qε 和 Qη 分别是平面''η'' = 0 和 ''ε'' = 0的交线,因此分别与 ε (内能)和 η (熵)轴平行。AD 和 AE 分别代表物体初始状态的能量和熵,AB 和 AC 分别代表物体的有效能(吉布斯能)和熵的容量(在不改变物体能量或增加物体体积的情况下物体可以增加的熵的量)。 |
| | | |
| | | |
− | 存在一个与自由能(<font color="#ff8000">自由焓 free enthalpy</font>)密切相关的物理量,它具有熵的单位并且与我们所知的统计学和信息论中的负熵同构。1873年,威拉德·吉布斯创建了一个图表,说明了自由能对应于自由焓的概念。在图表上,我们可以看到称为<font color="#ff8000">熵的容量 capacity for entropy</font>的物理量。这个量表示在不改变<font color="#ff8000">内能 internal energy</font>体积的情况下可增加的熵值。<ref>Willard Gibbs, [http://www.ufn.ru/ufn39/ufn39_4/Russian/r394b.pdf A Method of Geometrical Representation of the Thermodynamic Properties of Substances by Means of Surfaces], ''Transactions of the Connecticut Academy'', 382–404 (1873)</ref> 换句话说,它是在假定条件下可能的最大熵与实际熵之间的差异。它恰好符合统计学和信息论中负熵的定义。1869年,Massieu 在<font color="#ff8000">等温过程 isothermal process</font><ref>Massieu, M. F. (1869a). Sur les fonctions caractéristiques des divers fluides. ''C. R. Acad. Sci.'' LXIX:858–862.</ref><ref>Massieu, M. F. (1869b). Addition au precedent memoire sur les fonctions caractéristiques. ''C. R. Acad. Sci.'' LXIX:1057–1061.</ref><ref>Massieu, M. F. (1869), ''Compt. Rend.'' '''69''' (858): 1057.</ref>(两个量只有一个图形符号不同)中引入了一个类似的物理量,<ref>Planck, M. (1945). ''Treatise on Thermodynamics''. Dover, New York.</ref>后来 Planck 把这个概念引入到<font color="#ff8000">等温-等压 isothermal-isobaric process</font>过程中。近期,Massieu–Planck 提出的热力学势,也被称为自由熵,<ref>Antoni Planes, Eduard Vives, [http://www.ecm.ub.es/condensed/eduard/papers/massieu/node2.html Entropic Formulation of Statistical Mechanics], Entropic variables and Massieu–Planck functions 2000-10-24 Universitat de Barcelona</ref>已被证明在所谓的统计力学熵表述中发挥了重要作用,应用于分子生物学<ref>John A. Scheilman, [http://www.biophysj.org/cgi/reprint/73/6/2960.pdf Temperature, Stability, and the Hydrophobic Interaction], ''Biophysical Journal'' '''73''' (December 1997), 2960–2964, Institute of Molecular Biology, University of Oregon, Eugene, Oregon 97403 USA</ref> 和热力学非平衡过程。<ref>Z. Hens and X. de Hemptinne, [https://arxiv.org/pdf/chao-dyn/9604008 Non-equilibrium Thermodynamics approach to Transport Processes in Gas Mixtures], Department of Chemistry, Catholic University of Leuven, Celestijnenlaan 200 F, B-3001 Heverlee, Belgium</ref> | + | 存在一个与自由能(<font color="#ff8000">自由焓 free enthalpy</font>)密切相关的物理量,它具有熵的单位并且与我们所知的统计学和信息论中的负熵同构。1873年,[[威拉德·吉布斯 Willard Gibbs]]创建了一个图表,说明了自由能对应于自由焓的概念。在图表上,我们可以看到称为'''<font color="#ff8000">熵的容量 capacity for entropy</font>'''的物理量。这个量表示在不改变'''内能 internal energy'''体积的情况下可增加的熵值。<ref>Willard Gibbs, [http://www.ufn.ru/ufn39/ufn39_4/Russian/r394b.pdf A Method of Geometrical Representation of the Thermodynamic Properties of Substances by Means of Surfaces], ''Transactions of the Connecticut Academy'', 382–404 (1873)</ref> 换句话说,它是在假定条件下可能的最大熵与实际熵之间的差异。它恰好符合统计学和信息论中负熵的定义。1869年,Massieu 在<font color="#ff8000">等温过程 isothermal process</font><ref>Massieu, M. F. (1869a). Sur les fonctions caractéristiques des divers fluides. ''C. R. Acad. Sci.'' LXIX:858–862.</ref><ref>Massieu, M. F. (1869b). Addition au precedent memoire sur les fonctions caractéristiques. ''C. R. Acad. Sci.'' LXIX:1057–1061.</ref><ref>Massieu, M. F. (1869), ''Compt. Rend.'' '''69''' (858): 1057.</ref>(两个量只有一个图形符号不同)中引入了一个类似的物理量,<ref>Planck, M. (1945). ''Treatise on Thermodynamics''. Dover, New York.</ref>后来 Planck 把这个概念引入到<font color="#ff8000">等温-等压 isothermal-isobaric process</font>过程中。近期,Massieu–Planck 提出的热力学势,也被称为'''自由熵''',<ref>Antoni Planes, Eduard Vives, [http://www.ecm.ub.es/condensed/eduard/papers/massieu/node2.html Entropic Formulation of Statistical Mechanics], Entropic variables and Massieu–Planck functions 2000-10-24 Universitat de Barcelona</ref>已被证明在所谓的统计力学熵表述中发挥了重要作用,应用于分子生物学<ref>John A. Scheilman, [http://www.biophysj.org/cgi/reprint/73/6/2960.pdf Temperature, Stability, and the Hydrophobic Interaction], ''Biophysical Journal'' '''73''' (December 1997), 2960–2964, Institute of Molecular Biology, University of Oregon, Eugene, Oregon 97403 USA</ref> 和热力学非平衡过程。<ref>Z. Hens and X. de Hemptinne, [https://arxiv.org/pdf/chao-dyn/9604008 Non-equilibrium Thermodynamics approach to Transport Processes in Gas Mixtures], Department of Chemistry, Catholic University of Leuven, Celestijnenlaan 200 F, B-3001 Heverlee, Belgium</ref> |
| | | |
| | | |
第54行: |
第49行: |
| | | |
| | | |
− | 其中: | + | ::其中: |
| | | |
− | <math>S</math> 是熵 | + | ::<math>S</math> 代表熵 |
− | <math>J</math> 是负熵(吉布斯“熵的容量”) | + | ::<math>J</math> 代表负熵(吉布斯“熵的容量”) |
− | <math>\Phi</math> 是 Massieu 势 | + | ::<math>\Phi</math> 代表 Massieu 势 |
− | <math>Z</math> 是配分函数 | + | ::<math>Z</math> 代表配分函数 |
− | <math>k</math> 是波兹曼常数 | + | ::<math>k</math> 代表波兹曼常数 Boltzmann constant |
| | | |
| | | |
| 特别地,数学上的负熵(负熵函数,在物理学中解释为自由熵)是 LogSumExp 的凸共轭(在物理学中解释为自由能)。 | | 特别地,数学上的负熵(负熵函数,在物理学中解释为自由熵)是 LogSumExp 的凸共轭(在物理学中解释为自由能)。 |
| + | |
| | | |
| == 布里渊信息负熵原理 Brillouin's negentropy principle of information== | | == 布里渊信息负熵原理 Brillouin's negentropy principle of information== |
| | | |
| | | |
− | 1953年,布里渊推导出一个一般性方程,证明了改变一个信息的比特值至少需要 kT ln (2)的能量。这与理想情况下 Leó Szilárd 的引擎所产生的能量相等。在他的书中,<ref>Leon Brillouin, ''Science and Information theory'', Dover, 1956</ref>他进一步探讨了这个问题并得出结论: 任何条件下一个比特的改变(测量、关于是/否问题的决定、擦除、显示等等)都需要消耗同等的能量。
| + | 1953年,Léon Brillouin推导出一个一般性方程,证明了改变一个信息的比特值至少需要 kT ln (2)的能量。这与理想情况下 Leó Szilárd 的引擎所产生的能量相等。在他的书中,<ref>Leon Brillouin, ''Science and Information theory'', Dover, 1956</ref>他进一步探讨了这个问题并得出结论: 任何条件下一个比特的改变(测量、关于是/否问题的决定、擦除、显示等等)都需要消耗同等的能量。 |
| | | |
| ==参见== | | ==参见== |
第83行: |
第79行: |
| {{Wiktionary}} | | {{Wiktionary}} |
| ---- | | ---- |
− | 本中文词条由[[用户:Jxzhou|Jxzhou]]翻译,[[用户:CecileLi|CecileLi]]审校,[[用户:流峰|流峰]] 编辑,欢迎在讨论页面留言。 | + | 本中文词条由[[用户:Jxzhou|Jxzhou]]翻译,[[用户:CecileLi|CecileLi]]审校,[[用户:舒寒|舒寒]] 编辑,欢迎在讨论页面留言。 |
| | | |
| [[Category:熵和信息]] | | [[Category:熵和信息]] |