7,129
个编辑
更改
跳到导航
跳到搜索
第20行：
第20行： + − 其中<math>S(\varphi_x)</math>表示与<math>p_x</math>具有相同均值和方差的高斯密度的微分熵，<math>S(p_x)</math>表示<math>p_x</math>的微分熵：+ 第34行：
第35行： − −
→信息论 Information theory
负熵定义为：
负熵定义为：
:<math>J(p_x) = S(\varphi_x) - S(p_x)\,</math>
:<math>J(p_x) = S(\varphi_x) - S(p_x)\,</math>
其中，<math>S(\varphi_x)</math>表示与<math>p_x</math>具有相同均值和方差的高斯密度的微分熵，<math>S(p_x)</math>表示<math>p_x</math>的微分熵：
一个分布的负熵等于 <math>p_x</math> 和具有与 <math>p_x</math> 相同均值和方差的正态分布的 Kullback-Leibler 散度(参见正态分布的<font color="#ff8000">微分熵 Differential entropy</font>和最大化)。特别地，负熵总是非负的。
一个分布的负熵等于 <math>p_x</math> 和具有与 <math>p_x</math> 相同均值和方差的正态分布的 Kullback-Leibler 散度(参见正态分布的<font color="#ff8000">微分熵 Differential entropy</font>和最大化)。特别地，负熵总是非负的。
==统计学负熵与吉布斯自由能的关联 Correlation between statistical negentropy and Gibbs' free energy ==
==统计学负熵与吉布斯自由能的关联 Correlation between statistical negentropy and Gibbs' free energy ==