642
个编辑
更改
跳到导航
跳到搜索
第412行：
第412行： + + + + + + + + + + + + + + + + + +
→基于世界模型的强化学习
=====基于世界模型的强化学习=====
=====基于世界模型的强化学习=====
基于[[世界模型]]的[[强化学习]]假设其内部存在一个世界模型可以模拟智能体所面对的环境的动力学<ref>D. Ha, J. Schmidhuber, World models, arXiv preprint arXiv:1803.10122 (2018).</ref>。世界模型的动力学可以通过智能体与环境的相互作用来学习，该动力学也可以帮助[[智能体]]对不确定的环境做出计划和决策。同时为了表示复杂的环境，世界模型一定是对环境的粗粒化描述，一个典型的世界模型架构总是包含一个编码器和一个解码器。因此，基于世界模型的强化学习与因果涌现也存在很多相似之处。世界模型也可以被视为一种宏观动力学，环境中的所有状态可以看作是宏观状态，这些可以看成是压缩后的忽略无关信息的状态，能捕捉环境中最重要的因果特征，以便智能体做出更好的决策。在计划过程中，智能体也可以使用世界模型来模拟真实世界的动力学。因此，两个领域之间的相似性和共同特征可以帮助我们将一个领域的思想和技术借鉴到另一个领域。例如，具有世界模型的智能体可以将复杂系统作为一个整体来进行相互作用，并从相互作用中获得涌现的因果规律，从而更好的帮助我们做因果涌现识别任务。反过来，最大化有效信息技术也可以用于强化学习，使世界模型具有更强的因果特性。
基于[[世界模型]]的[[强化学习]]假设其内部存在一个世界模型可以模拟智能体所面对的环境的动力学<ref>D. Ha, J. Schmidhuber, World models, arXiv preprint arXiv:1803.10122 (2018).</ref>。世界模型的动力学可以通过智能体与环境的相互作用来学习，该动力学也可以帮助[[智能体]]对不确定的环境做出计划和决策。同时为了表示复杂的环境，世界模型一定是对环境的粗粒化描述，一个典型的世界模型架构总是包含一个编码器和一个解码器。因此，基于世界模型的强化学习与因果涌现也存在很多相似之处。世界模型也可以被视为一种宏观动力学，环境中的所有状态可以看作是宏观状态，这些可以看成是压缩后的忽略无关信息的状态，能捕捉环境中最重要的因果特征，以便智能体做出更好的决策。在计划过程中，智能体也可以使用世界模型来模拟真实世界的动力学。因此，两个领域之间的相似性和共同特征可以帮助我们将一个领域的思想和技术借鉴到另一个领域。例如，具有世界模型的智能体可以将复杂系统作为一个整体来进行相互作用，并从相互作用中获得涌现的因果规律，从而更好的帮助我们做因果涌现识别任务。反过来，最大化有效信息技术也可以用于强化学习，使世界模型具有更强的因果特性。
====其它潜在应用====
除了上述应用领域之外，因果涌现理论还可能对于其它重要问题存在着巨大的潜在应用价值，例如它对于意识问题的研究以及在中国古典哲学方面的应用。
====意识研究====
首先，因果涌现理论的提出就与意识科学研究存在着巨大的联系，这是因为因果涌现理论的核心指标[[有效信息]]最早就是[[Torononi]]在研究意识的定量理论[[整合信息论]]中提出来的。后经过改造，才被[[Erik Hoel]]应用到了马尔科夫链上，并提出因果涌现概念。因此，从这个意义上说，有效信息其实是定量意识科学的副产品。
其次，因果涌现作为复杂系统中的重要概念在意识科学的研究中也起着重要的作用。例如，在意识领域的研究中，一个核心问题是意识究竟是一个宏观尺度的现象还是微观尺度的现象？至今，尚没有直接证据表明意识发生的尺度是多大。因果涌现的深入研究，特别是结合脑神经的实验数据，有可能回答意识现象的发生尺度问题。
再次，因果涌现有可能回答自由意志问题。人有没有自由意志？我们做出的决定真的是我们意志的自由选择吗？还是有可能它仅仅是一种幻觉？所有的决策其实都是我们的脑系统自发完成的，我们的意识仅仅对这一复杂决策过程进行了某种层面的解释，自由意志是一种涌现出的[[向下因果]]吗？这些问题的回答都有待因果涌现理论的进一步研究。
====中国古典哲学====
与西方科学与哲学思想不同，中国古典哲学保留了一套完整而不同的解释宇宙的框架，这包括[[阴阳]]、[[五行]]、[[八卦]]，也包括[[占卜]]、[[风水]]、[[中医]]等，并能对宇宙中的各类现象进行完全独立的解释。长久以来，东西方两套哲学始终难以融合。因果涌现思想有可能提供一套新的解释，从而弥合东西方哲学的冲突。根据因果涌现理论，一套理论的好坏取决于因果性的强弱，也就是EI的大小。而不同的粗粒化方案会得到完全不同的宏观理论（宏观动力学）。很有可能，在面对同样的复杂系统研究对象的时候，西方的哲学、科学体系给出的是一套比较具体而微观的因果机制（动力学），而东方哲学则给出了一套更加粗粒化的宏观因果机制。根据因果涌现的理论，或者是Yurchenko提出的[[因果等价原理]](Causal Equivalence Principle)，这二者完全有可能是相互兼容的。也就是说，对于同样一组现象，东西方按照不同的两套因果机制，都能够做出正确的预测，甚至是干预手段。当然，也有可能在某类问题或现象中，更加宏观尺度的因果机制更具有解释力度或得出好的方案，有的问题或现象，则更加有利于更微观的因果机制。
例如，就用东方哲学中的[[五行]]概念来说，我们完全可以将[[五行]]理解成是万事万物的五种宏观态，而[[五行]]的相生相克关系就可以被理解为是这五种宏观态彼此之间的一种宏观因果机制。那么，从万事万物中提炼出[[五行]]这五种状态的认知过程，就是一种粗粒化过程，它依赖于观察者的类象能力。因此，五行理论就可以看作是对万事万物进行抽象的因果涌现理论。同样的，我们还可以将因果涌现的概念应用到更多领域，包括中医、占卜、风水等。这些应用的共同点就是，它的因果机制相对于西方科学更加简单，也有可能因果性更强，但是得到这种抽象的粗粒化过程则更加复杂，更加依赖于有经验的抽象者。这就解释了为什么东方哲学都强调实践者自身的修为，这是因为，这些东方哲学理论将巨大的复杂性和计算量都放到了'''类象思维'''上。
==批判==
==批判==