7,129
个编辑
更改
跳到导航
跳到搜索
第108行：
第108行： − 在预测编码中，通过自由能时间积分（自由作用）的梯度上升来优化模型参数会降低到联想或赫伯可塑性，并与大脑中的突触可塑性有关。 − − + − 优化精度参数对应于优化预测误差的增益（c.f.，Kalman增益）。在预测编码的神经元似是而非的实现中，
→自由能最小化与信息论
===自由能最小化与信息论===
===自由能最小化与信息论===
自由能最小化相当于最大化感官状态和内部状态之间的[[互信息]]，使变分密度参数化（对于固定熵变分密度）<ref name="Friston" />这将自由能最小化与最小冗余原则联系起来。<ref>Barlow, H. (1961). [http://www.trin.cam.ac.uk/horacebarlow/21.pdf Possible principles underlying the transformations of sensory messages] {{Webarchive|url=https://web.archive.org/web/20120603182706/http://www.trin.cam.ac.uk/horacebarlow/21.pdf |date=2012-06-03 }}. In W. Rosenblith (Ed.), Sensory Communication (pp. 217-34). Cambridge, MA: MIT Press.</ref>并且联系到用信息论描述最优行为的相关处理<ref>Linsker, R. (1990).[https://www.annualreviews.org/doi/pdf/10.1146/annurev.ne.13.030190.001353 Perceptual neural organization: some approaches based on network models and information theory]. Annu Rev Neurosci. , 13, 257–81.</ref><ref>Bialek, W., Nemenman, I., & Tishby, N. (2001). [http://www.princeton.edu/~wbialek/our_papers/bnt_01a.pdf Predictability, complexity, and learning]. Neural Computat., 13 (11), 2409–63.</ref>
自由能最小化相当于最大化感官状态和内部状态之间的[[互信息]]，使变分密度参数化（对于固定熵变分密度）<ref name="Friston" />这将自由能最小化与最小冗余原则联系起来。<ref>Barlow, H. (1961). [http://www.trin.cam.ac.uk/horacebarlow/21.pdf Possible principles underlying the transformations of sensory messages] {{Webarchive|url=https://web.archive.org/web/20120603182706/http://www.trin.cam.ac.uk/horacebarlow/21.pdf |date=2012-06-03 }}. In W. Rosenblith (Ed.), Sensory Communication (pp. 217-34). Cambridge, MA: MIT Press.</ref>并且联系到用信息论描述最优行为的相关处理<ref>Linsker, R. (1990).[https://www.annualreviews.org/doi/pdf/10.1146/annurev.ne.13.030190.001353 Perceptual neural organization: some approaches based on network models and information theory]. Annu Rev Neurosci. , 13, 257–81.</ref><ref>Bialek, W., Nemenman, I., & Tishby, N. (2001). [http://www.princeton.edu/~wbialek/our_papers/bnt_01a.pdf Predictability, complexity, and learning]. Neural Computat., 13 (11), 2409–63.</ref>
<br>
==神经科学中的自由能最小化==
==神经科学中的自由能最小化==