更改

添加5字节 、 2024年5月13日 (星期一)
无编辑摘要
第7行: 第7行:       −
自由能原理解释了一个给定系统的存在,它通过一个[[马尔可夫毯 Markov blanket]]建模,试图最小化他们的世界模型和他们的感觉和相关知觉之间的差异。这种差异可以被描述为”出其不意” ,并通过不断修正系统的世界模型来减少这种差异。因此,这个原理是基于贝叶斯的观点,即大脑是一个“推理机”。弗里斯顿为最小化增加了第二条路线: 行动。通过积极地将世界改变为预期的状态,系统也可以使系统的自由能最小化。弗里斯顿认为这是所有生物反应的原理。<ref name="wired20181112">Shaun Raviv: [https://www.wired.com/story/karl-friston-free-energy-principle-artificial-intelligence/ The Genius Neuroscientist Who Might Hold the Key to True AI]. In: Wired, 13. November 2018</ref>弗里斯顿还认为,他的原则即适用于精神障碍也适用于人工智能。基于主动推理原则的人工智能实现比其他方法显示出优势。<ref name="wired20181112" />关于这一原则的讨论也受到批评,认为它引用的形而上学假设与可检验的科学预测相去甚远,使这一原则不可证伪。在2018年的一次采访中,弗里斯顿承认,自由能原理不能被恰当地证伪: “自由能原理就是它的本来面目——一个原理。就像汉密尔顿的静止作用原理一样,它不能被证伪。这是不能被推翻的。事实上,除非你问可衡量的系统是否符合这一原则,否则你用它做不了什么。”
+
自由能原理解释了一个给定系统的存在,它通过一个[[马尔可夫毯 Markov blanket]]建模,试图最小化他们的世界模型和他们的感觉和相关知觉之间的差异。这种差异可以被描述为“出其不意”,并通过不断修正系统的世界模型来减少这种差异。因此,这个原理是基于贝叶斯的观点,即大脑是一个“推理机”。弗里斯顿为最小化增加了第二条路线:行动。通过积极地将世界改变为预期的状态,系统也可以使系统的自由能最小化。弗里斯顿认为这是所有生物反应的原理。<ref name="wired20181112">Shaun Raviv: [https://www.wired.com/story/karl-friston-free-energy-principle-artificial-intelligence/ The Genius Neuroscientist Who Might Hold the Key to True AI]. In: Wired, 13. November 2018</ref>弗里斯顿还认为,他的原则即适用于精神障碍也适用于人工智能。基于主动推理原则的人工智能实现比其他方法显示出优势。<ref name="wired20181112" />关于这一原则的讨论也受到批评,认为它引用的形而上学假设与可检验的科学预测相去甚远,使这一原则不可证伪。在2018年的一次采访中,弗里斯顿承认,自由能原理不能被恰当地证伪: “自由能原理就是它的本来面目——一个原理。就像汉密尔顿的静止作用原理一样,它不能被证伪。这是不能被推翻的。事实上,除非你问可衡量的系统是否符合这一原则,否则你用它做不了什么。”
      第16行: 第16行:  
自我组织的生物系统——比如细胞或大脑——可以被理解为最小化变分自由能的概念,是基于亥姆霍兹在无意识推理<ref name="Helmholtz">Helmholtz, H. (1866/1962). Concerning the perceptions in general. In Treatise on physiological optics (J. Southall, Trans., 3rd ed., Vol. III). New York: Dover.</ref>以及随后的心理学<ref>{{cite journal | title=Perceptions as hypotheses | journal=Philosophical Transactions of the Royal Society of London. B, Biological Sciences | publisher=The Royal Society | volume=290 | issue=1038 | date=1980-07-08 | issn=0080-4622 | doi=10.1098/rstb.1980.0090 | pmid=6106237 | bibcode=1980RSPTB.290..181G | pages=181–197|jstor=2395424| last1=Gregory | first1=R. L. | doi-access=free }}</ref>和机器学习<ref name="Dayan">{{cite journal | last1=Dayan | first1=Peter | last2=Hinton | first2=Geoffrey E. | last3=Neal | first3=Radford M. | last4=Zemel | first4=Richard S. | title=The Helmholtz Machine | journal=Neural Computation | publisher=MIT Press - Journals | volume=7 | issue=5 | year=1995 | issn=0899-7667 | doi=10.1162/neco.1995.7.5.889 | pmid=7584891 | pages=889–904|url=http://www.gatsby.ucl.ac.uk/~dayan/papers/hm95.pdf}}</ref>治疗方面的工作。变分自由能是观测值及其隐含原因的概率密度的函数。这个变分密度的定义关系到一个概率模型,从假设的原因产生预测观测。在这种情况下,自由能提供了一个近似贝叶斯模型<ref>Beal, M. J. (2003). [http://www.cse.buffalo.edu/faculty/mbeal/papers/beal03.pdf Variational Algorithms for Approximate Bayesian Inference]. Ph.D. Thesis, University College London.</ref>的证据。因此,它的最小化可以被看作是一个贝叶斯推断过程。当一个系统积极地进行观测以最小化自由能时,它隐含地进行了积极推理并最大化其世界模型的证据。
 
自我组织的生物系统——比如细胞或大脑——可以被理解为最小化变分自由能的概念,是基于亥姆霍兹在无意识推理<ref name="Helmholtz">Helmholtz, H. (1866/1962). Concerning the perceptions in general. In Treatise on physiological optics (J. Southall, Trans., 3rd ed., Vol. III). New York: Dover.</ref>以及随后的心理学<ref>{{cite journal | title=Perceptions as hypotheses | journal=Philosophical Transactions of the Royal Society of London. B, Biological Sciences | publisher=The Royal Society | volume=290 | issue=1038 | date=1980-07-08 | issn=0080-4622 | doi=10.1098/rstb.1980.0090 | pmid=6106237 | bibcode=1980RSPTB.290..181G | pages=181–197|jstor=2395424| last1=Gregory | first1=R. L. | doi-access=free }}</ref>和机器学习<ref name="Dayan">{{cite journal | last1=Dayan | first1=Peter | last2=Hinton | first2=Geoffrey E. | last3=Neal | first3=Radford M. | last4=Zemel | first4=Richard S. | title=The Helmholtz Machine | journal=Neural Computation | publisher=MIT Press - Journals | volume=7 | issue=5 | year=1995 | issn=0899-7667 | doi=10.1162/neco.1995.7.5.889 | pmid=7584891 | pages=889–904|url=http://www.gatsby.ucl.ac.uk/~dayan/papers/hm95.pdf}}</ref>治疗方面的工作。变分自由能是观测值及其隐含原因的概率密度的函数。这个变分密度的定义关系到一个概率模型,从假设的原因产生预测观测。在这种情况下,自由能提供了一个近似贝叶斯模型<ref>Beal, M. J. (2003). [http://www.cse.buffalo.edu/faculty/mbeal/papers/beal03.pdf Variational Algorithms for Approximate Bayesian Inference]. Ph.D. Thesis, University College London.</ref>的证据。因此,它的最小化可以被看作是一个贝叶斯推断过程。当一个系统积极地进行观测以最小化自由能时,它隐含地进行了积极推理并最大化其世界模型的证据。
    +
然而,自由能也是结果自信息的一个上限,长期的平均值是[[熵]]。这意味着,如果一个系统采取行动来最小化自由能,它将隐含地放置一个熵的结果-或感官状态-它的样本上限。<ref name="Friston">{{cite journal | last=Karl | first=Friston | title=A Free Energy Principle for Biological Systems | journal=Entropy | publisher=MDPI AG | volume=14 | issue=11 | date=2012-10-31 | issn=1099-4300 | doi=10.3390/e14112100 | pmid=23204829 | bibcode=2012Entrp..14.2100K | pages=2100–2121| pmc=3510653 |url=http://www.fil.ion.ucl.ac.uk/~karl/A%20Free%20Energy%20Principle%20for%20Biological%20Systems.pdf|doi-access=free}}</ref><ref>{{cite journal | last1=Colombo | first1=Matteo | last2=Wright | first2=Cory | title=First principles in the life sciences: the free-energy principle, organicism, and mechanism | journal=Synthese | publisher=Springer Science and Business Media LLC | date=2018-09-10 | issn=0039-7857 | doi=10.1007/s11229-018-01932-w | page=|doi-access=free}}</ref>
   −
然而,自由能也是结果自信息的一个上限,长期的平均值是[[熵]]。这意味着,如果一个系统采取行动来最小化自由能,它将隐含地放置一个熵的结果-或感官状态-它的样本上限。<ref name="Friston">{{cite journal | last=Karl | first=Friston | title=A Free Energy Principle for Biological Systems | journal=Entropy | publisher=MDPI AG | volume=14 | issue=11 | date=2012-10-31 | issn=1099-4300 | doi=10.3390/e14112100 | pmid=23204829 | bibcode=2012Entrp..14.2100K | pages=2100–2121| pmc=3510653 |url=http://www.fil.ion.ucl.ac.uk/~karl/A%20Free%20Energy%20Principle%20for%20Biological%20Systems.pdf|doi-access=free}}</ref><ref>{{cite journal | last1=Colombo | first1=Matteo | last2=Wright | first2=Cory | title=First principles in the life sciences: the free-energy principle, organicism, and mechanism | journal=Synthese | publisher=Springer Science and Business Media LLC | date=2018-09-10 | issn=0039-7857 | doi=10.1007/s11229-018-01932-w | page=|doi-access=free}}</ref>
         
=== 与其他理论的关系===
 
=== 与其他理论的关系===
 
主动推理与良好的调节器定理以及自组织的相关理论,如自组装、模式形成、自创生和拓扑实践密切相关。它涉及控制论、协同学和具身认知理论中所考虑的主题。由于自由能可以用变分密度下观测值的期望能量减去其熵来表示,因此它也与最大熵原理有关。最后,由于能量的时间平均值是作用量,因此最小变分自由能原理是最小作用量原理。
 
主动推理与良好的调节器定理以及自组织的相关理论,如自组装、模式形成、自创生和拓扑实践密切相关。它涉及控制论、协同学和具身认知理论中所考虑的主题。由于自由能可以用变分密度下观测值的期望能量减去其熵来表示,因此它也与最大熵原理有关。最后,由于能量的时间平均值是作用量,因此最小变分自由能原理是最小作用量原理。
 +
       
主动推理与[[灵活调整|好调节器定理]]密切相关<ref>Conant, R. C., & Ashby, R. W. (1970). [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.3702&rep=rep1&type=pdf Every Good Regulator of a system must be a model of that system]. Int. J. Systems Sci. , 1 (2), 89–97.</ref>以及与[[自组织]]的内容相关,<ref>Kauffman, S. (1993). [https://books.google.com/books?hl=en&lr=&id=lZcSpRJz0dgC&oi=fnd&pg=PR13&dq=%22The+Origins+of+Order:+Self-Organization+and+Selection+in+Evolution%22&ots=9_GMeW6MVv&sig=9qVR16wmBt2M6QL9xJu9wkeqGtg#v=onepage&q=%22The%20Origins%20of%20Order%3A%20Self-Organization%20and%20Selection%20in%20Evolution%22&f=false The Origins of Order: Self-Organization and Selection in Evolution]. Oxford: Oxford University Press.</ref><ref>Nicolis, G., & Prigogine, I. (1977). Self-organization in non-equilibrium systems. New York: John Wiley.</ref> 例如自组装,模式形成,自生<ref>Maturana, H. R., & Varela, F. (1980). [http://topologicalmedialab.net/xinwei/classes/readings/Maturana/autopoesis_and_cognition.pdf Autopoiesis: the organization of the living]. In V. F. Maturana HR (Ed.), Autopoiesis and Cognition. Dordrecht, Netherlands: Reidel.</ref>和实践<ref>Nikolić, D. (2015). [https://www.sciencedirect.com/science/article/pii/S002251931500106X Practopoiesis: Or how life fosters a mind]. Journal of theoretical biology, 373, 40-61.</ref>.
 
主动推理与[[灵活调整|好调节器定理]]密切相关<ref>Conant, R. C., & Ashby, R. W. (1970). [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.161.3702&rep=rep1&type=pdf Every Good Regulator of a system must be a model of that system]. Int. J. Systems Sci. , 1 (2), 89–97.</ref>以及与[[自组织]]的内容相关,<ref>Kauffman, S. (1993). [https://books.google.com/books?hl=en&lr=&id=lZcSpRJz0dgC&oi=fnd&pg=PR13&dq=%22The+Origins+of+Order:+Self-Organization+and+Selection+in+Evolution%22&ots=9_GMeW6MVv&sig=9qVR16wmBt2M6QL9xJu9wkeqGtg#v=onepage&q=%22The%20Origins%20of%20Order%3A%20Self-Organization%20and%20Selection%20in%20Evolution%22&f=false The Origins of Order: Self-Organization and Selection in Evolution]. Oxford: Oxford University Press.</ref><ref>Nicolis, G., & Prigogine, I. (1977). Self-organization in non-equilibrium systems. New York: John Wiley.</ref> 例如自组装,模式形成,自生<ref>Maturana, H. R., & Varela, F. (1980). [http://topologicalmedialab.net/xinwei/classes/readings/Maturana/autopoesis_and_cognition.pdf Autopoiesis: the organization of the living]. In V. F. Maturana HR (Ed.), Autopoiesis and Cognition. Dordrecht, Netherlands: Reidel.</ref>和实践<ref>Nikolić, D. (2015). [https://www.sciencedirect.com/science/article/pii/S002251931500106X Practopoiesis: Or how life fosters a mind]. Journal of theoretical biology, 373, 40-61.</ref>.
 +
       
它解决了[[控制论]],[[协同学]]中考虑的主题<ref>Haken, H. (1983). Synergetics: An introduction. Non-equilibrium phase transition and self-organisation in physics, chemistry and biology (3rd ed.). Berlin: Springer Verlag.</ref>以及[[具身认知]]。由于自由能可以表示为变分密度下观测值的期望能量减去其熵,因此它也与[[最大熵原理]]有关。<ref>Jaynes, E. T. (1957). [http://bayes.wustl.edu/etj/articles/theory.1.pdf Information Theory and Statistical Mechanics]. Physical Review Series II, 106 (4), 620–30.</ref> 最后,由于能量的时间平均是作用量,最小变分自由能原理是一种[[最小作用原理]]。
 
它解决了[[控制论]],[[协同学]]中考虑的主题<ref>Haken, H. (1983). Synergetics: An introduction. Non-equilibrium phase transition and self-organisation in physics, chemistry and biology (3rd ed.). Berlin: Springer Verlag.</ref>以及[[具身认知]]。由于自由能可以表示为变分密度下观测值的期望能量减去其熵,因此它也与[[最大熵原理]]有关。<ref>Jaynes, E. T. (1957). [http://bayes.wustl.edu/etj/articles/theory.1.pdf Information Theory and Statistical Mechanics]. Physical Review Series II, 106 (4), 620–30.</ref> 最后,由于能量的时间平均是作用量,最小变分自由能原理是一种[[最小作用原理]]。
 +
      第46行: 第49行:  
*“生成密度”<math>p(s, \psi \mid m)</math>——在生成模型下的感觉和隐藏状态
 
*“生成密度”<math>p(s, \psi \mid m)</math>——在生成模型下的感觉和隐藏状态
 
*“变分密度”<math>q(\psi \mid \mu)</math>–由R中的内部状态<math>\mu \in R</math>参数化的隐藏状态<math>\psi \in \Psi</math>
 
*“变分密度”<math>q(\psi \mid \mu)</math>–由R中的内部状态<math>\mu \in R</math>参数化的隐藏状态<math>\psi \in \Psi</math>
 +
      第60行: 第64行:  
= \underset{\mathrm{surprise}} {\underbrace{ -\log p(s \mid m)}} + \underset{\mathrm{divergence}} {\underbrace{ D_{\mathrm{KL}}[q(\psi \mid \mu) \parallel p(\psi \mid s,m)]}}  
 
= \underset{\mathrm{surprise}} {\underbrace{ -\log p(s \mid m)}} + \underset{\mathrm{divergence}} {\underbrace{ D_{\mathrm{KL}}[q(\psi \mid \mu) \parallel p(\psi \mid s,m)]}}  
 
   \geq \underset{\mathrm{surprise}} {\underbrace{ -\log p(s \mid m)}} </math>
 
   \geq \underset{\mathrm{surprise}} {\underbrace{ -\log p(s \mid m)}} </math>
 +
     
13

个编辑