更改

[[因果表示学习]]是人工智能中的一个新兴领域，它试图将机器学习中的两个重要领域：[[表示学习]]和[[因果推断]]结合起来，尝试结合各自的优势，自动提取数据背后的重要特征和因果关系<ref>B. Sch ̈olkopf, F. Locatello, S. Bauer, N. R. Ke, N. Kalchbrenner, A. Goyal, Y. Bengio, Toward causal representation learning, Proceedings of the IEEE 109 (5) (2021) 612–634.</ref>。基于有效信息的因果涌现识别可以等价于一种因果表示学习任务。从数据中识别因果关系的涌现，等价于学习数据背后的潜在因果关系。具体来说，我们可以把宏观状态可以看成因果变量，宏观动力学学习器类比为因果机制，粗粒化策略可以看作是一个从原始数据到因果变量的编码过程，有效信息可以理解为对机制的因果效应强度的衡量。由于这两者存在很多相似之处，这就使得两个领域的技术和概念可以相互借鉴。例如，[[因果表示学习]]技术可以应用于识别因果涌现，反过来，学习到的抽象因果表征可以被解释为一种宏观状态，从而增强因果表征学习的可解释性。但是两者也存在显著差异，主要包括两点：1）因果表示学习假设其背后存在一个真实的[[因果机制]]，数据是由这个因果机制产生的，然而宏观层面涌现出的状态和动力学之间可能并不存在“真正的因果关系”；2）因果涌现中的粗粒化后的宏观状态是一种低维的描述，然而因果表示学习中并没有这个要求。从认识论的视角看，两者并不存在差异，因为两者所做的都是从观察数据中提取有效信息，从而获得具有因果效应更强的表征。

[[因果表示学习]]是人工智能中的一个新兴领域，它试图将机器学习中的两个重要领域：[[表示学习]]和[[因果推断]]结合起来，尝试结合各自的优势，自动提取数据背后的重要特征和因果关系<ref>B. Sch ̈olkopf, F. Locatello, S. Bauer, N. R. Ke, N. Kalchbrenner, A. Goyal, Y. Bengio, Toward causal representation learning, Proceedings of the IEEE 109 (5) (2021) 612–634.</ref>。基于有效信息的因果涌现识别可以等价于一种因果表示学习任务。从数据中识别因果关系的涌现，等价于学习数据背后的潜在因果关系。具体来说，我们可以把宏观状态可以看成因果变量，宏观动力学学习器类比为因果机制，粗粒化策略可以看作是一个从原始数据到因果变量的编码过程，有效信息可以理解为对机制的因果效应强度的衡量。由于这两者存在很多相似之处，这就使得两个领域的技术和概念可以相互借鉴。例如，[[因果表示学习]]技术可以应用于识别因果涌现，反过来，学习到的抽象因果表征可以被解释为一种宏观状态，从而增强因果表征学习的可解释性。但是两者也存在显著差异，主要包括两点：1）因果表示学习假设其背后存在一个真实的[[因果机制]]，数据是由这个因果机制产生的，然而宏观层面涌现出的状态和动力学之间可能并不存在“真正的因果关系”；2）因果涌现中的粗粒化后的宏观状态是一种低维的描述，然而因果表示学习中并没有这个要求。从认识论的视角看，两者并不存在差异，因为两者所做的都是从观察数据中提取有效信息，从而获得具有因果效应更强的表征。

====基于世界模型的强化学习====

 

 

 

 

=====基于世界模型的强化学习=====

基于[[世界模型]]的[[强化学习]]假设其内部存在一个世界模型可以模拟智能体所面对的环境的动力学<ref>D. Ha, J. Schmidhuber, World models, arXiv preprint arXiv:1803.10122 (2018).</ref>。世界模型的动力学可以通过智能体与环境的相互作用来学习，该动力学也可以帮助[[智能体]]对不确定的环境做出计划和决策。同时为了表示复杂的环境，世界模型一定是对环境的粗粒化描述，一个典型的世界模型架构总是包含一个编码器和一个解码器。因此，基于世界模型的强化学习与因果涌现也存在很多相似之处。世界模型也可以被视为一种宏观动力学，环境中的所有状态可以看作是宏观状态，这些可以看成是压缩后的忽略无关信息的状态，能捕捉环境中最重要的因果特征，以便智能体做出更好的决策。在计划过程中，智能体也可以使用世界模型来模拟真实世界的动力学。因此，两个领域之间的相似性和共同特征可以帮助我们将一个领域的思想和技术借鉴到另一个领域。例如，具有世界模型的智能体可以将复杂系统作为一个整体来进行相互作用，并从相互作用中获得涌现的因果规律，从而更好的帮助我们做因果涌现识别任务。反过来，最大化有效信息技术也可以用于强化学习，使世界模型具有更强的因果特性。

基于[[世界模型]]的[[强化学习]]假设其内部存在一个世界模型可以模拟智能体所面对的环境的动力学<ref>D. Ha, J. Schmidhuber, World models, arXiv preprint arXiv:1803.10122 (2018).</ref>。世界模型的动力学可以通过智能体与环境的相互作用来学习，该动力学也可以帮助[[智能体]]对不确定的环境做出计划和决策。同时为了表示复杂的环境，世界模型一定是对环境的粗粒化描述，一个典型的世界模型架构总是包含一个编码器和一个解码器。因此，基于世界模型的强化学习与因果涌现也存在很多相似之处。世界模型也可以被视为一种宏观动力学，环境中的所有状态可以看作是宏观状态，这些可以看成是压缩后的忽略无关信息的状态，能捕捉环境中最重要的因果特征，以便智能体做出更好的决策。在计划过程中，智能体也可以使用世界模型来模拟真实世界的动力学。因此，两个领域之间的相似性和共同特征可以帮助我们将一个领域的思想和技术借鉴到另一个领域。例如，具有世界模型的智能体可以将复杂系统作为一个整体来进行相互作用，并从相互作用中获得涌现的因果规律，从而更好的帮助我们做因果涌现识别任务。反过来，最大化有效信息技术也可以用于强化学习，使世界模型具有更强的因果特性。