7,129
个编辑
更改
跳到导航
跳到搜索
第89行：
第89行： − + 第97行：
第97行： − 具有最小自由能的模型提供了数据的精确解释，降低了复杂性成本（c.f.，[[奥卡姆剃刀]]和计算成本的更正式的处理方法<ref>Ortega, P. A., & Braun, D. A. (2012). [http://rspa.royalsocietypublishing.org/content/469/2153/20120683 Thermodynamics as a theory of decision-making with information processing costs]. Proceedings of the Royal Society A, vol. 469, no. 2153 (20120683) .</ref>)。这里，复杂性是变分密度和关于隐藏状态的先验信念（即用于解释数据的有效自由度）之间的差异。+ +
→自由能最小化与贝叶斯推理
所有的贝叶斯推断都可以用自由能最小化来表示，例如，<ref>Roweis, S., & [[Zoubin Ghahramani|Ghahramani, Z.]] (1999). [http://authors.library.caltech.edu/13697/1/ROWnc99.pdf A unifying review of linear Gaussian models]. Neural Computat. , 11 (2), 305–45. {{doi|10.1162/089976699300016674}}</ref>{{验证失败|日期=2020年4月}}当自由能相对于内部态最小化时，隐态上变分密度和后验密度之间的[[Kullback–Leibler散度]]最小化。当变分密度的形式固定时，这对应于近似的[[贝叶斯推理]]，否则对应于精确的[[贝叶斯推理]]。因此，自由能最小化提供了贝叶斯推理和滤波的一般描述（例如，[[Kalman filter]]ing）。它也用于贝叶斯[[模型选择]]，其中自由能可以有效地分解为复杂性和准确性：
所有的贝叶斯推断都可以用自由能最小化来表示，例如，<ref>Roweis, S., & [[Zoubin Ghahramani|Ghahramani, Z.]] (1999). [http://authors.library.caltech.edu/13697/1/ROWnc99.pdf A unifying review of linear Gaussian models]. Neural Computat. , 11 (2), 305–45. {{doi|10.1162/089976699300016674}}</ref>当自由能相对于内部态最小化时，隐态上变分密度和后验密度之间的[[Kullback–Leibler散度]]最小化。当变分密度的形式固定时，这对应于近似的[[贝叶斯推理]]，否则对应于精确的[[贝叶斯推理]]。因此，自由能最小化提供了贝叶斯推理和滤波的一般描述（例如，[[卡尔曼滤波]]）。它也用于贝叶斯模型选择，其中自由能可以有效地分解为复杂性和准确性：
: <math> \underset{\text{free-energy}} {\underbrace{ F(s,\mu)}} = \underset{\text{complexity}} {\underbrace{ D_\mathrm{KL}[q(\psi\mid\mu)\parallel p(\psi\mid m)]}} - \underset{\mathrm{accuracy}} {\underbrace{E_q[\log p(s\mid\psi,m)]}}</math>
: <math> \underset{\text{free-energy}} {\underbrace{ F(s,\mu)}} = \underset{\text{complexity}} {\underbrace{ D_\mathrm{KL}[q(\psi\mid\mu)\parallel p(\psi\mid m)]}} - \underset{\mathrm{accuracy}} {\underbrace{E_q[\log p(s\mid\psi,m)]}}</math>
具有最小自由能的模型提供了数据的精确解释，降低了复杂性成本（参见奥卡姆剃刀和计算成本的更正式的处理方法<ref>Ortega, P. A., & Braun, D. A. (2012). [http://rspa.royalsocietypublishing.org/content/469/2153/20120683 Thermodynamics as a theory of decision-making with information processing costs]. Proceedings of the Royal Society A, vol. 469, no. 2153 (20120683) .</ref>)。这里，复杂性是变分密度和关于隐藏状态的先验信念（即用于解释数据的有效自由度）之间的差异。
<br>
===自由能最小化与热力学===
===自由能最小化与热力学===