259
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − <s>（近年来真实动态复杂系统（如气候、生态、鸟群、、蚁群、细胞、大脑等系统）积累的原始观测数据越来越多，并表现出多种非线性动力学行为，如何仅从这些数据中识别、测量涌现和捕捉涌现的动力学模式，已成为复杂系统再探索需要解决的关键问题。）</s> − 第19行：
第17行： − Rosas等提出了判定因果涌现发生的充分条件，且基于[[互信息]]提出三个新指标，<math>\mathrm{\Psi} </math> 、<math>\mathrm{\Delta} </math> 、<math>\mathrm{\Gamma} </math>。这三个指标用于识别系统中的因果涌现，具体计算公式如下：<u>''（对三个指标的介绍）''</u>+ + − <math>\Delta_{t, t+1}(V):=\max _j\left(I\left(V_t ; X_{t+1}^j\right)-\sum_i I\left(X_t^i ; X_{t+1}^j\right)\right) </math> − <math>\Gamma_{t, t+1}(V):=\max _j I\left(V_t ; X_{t+1}^j\right) </math>+ + − 当<math>\mathrm{\Psi}>0 </math>时，宏观状态<math>V </math>会发生涌现。当<math>\mathrm{\Psi}<0 </math>，我们不能确定宏观状态<math>V </math>是否发生涌现，此时需要借助<math>\mathrm{\Delta} </math>。 − 当<math>\mathrm{\Delta}>0 </math>时，宏观状态<math>V </math>发生向下因果。当<math>\mathrm{\Delta}>0 </math>且<math>\mathrm{\Gamma}=0 </math>时，宏观状态<math>V </math>发生因果涌现且发生因果解耦。<u>''（δ<0的情况？γ≠0的情况？）（介绍X）''</u>+ − 该方法避开讨论粗粒化策略。但是也存在很多缺点：1）该方法提出的三个指标 ，<math>\mathrm{\Psi} </math> ,<math>\mathrm{\Delta} </math> 和<math>\mathrm{\Gamma} </math>只是基于互信息计算没有考虑因果，同时该方法得到的仅仅是发生因果涌现的充分条件；2）该方法无法得到显式的宏观动力学以及粗粒化策略，然而这两项对于下游的任务往往十分重要；3）当系统具有大量冗余信息或具有许多变量时，该方法的计算复杂度仍然很高。+ − − − 第65行：
第60行： − 总的来说，NIS是一种新的神经网络框架，可被用于发现时间序列数据中的粗粒化策略、宏观动力学和涌现的因果关系。但是，此方法并未真正地最小化有效信息，可预测的条件分布也仅限于高斯或者拉普拉斯分布。+ + − +
无编辑摘要
= 问题背景 =
= 问题背景 =
在自然界和人类社会中，存在着许多由无数相互作用的元素构成的复杂系统，如气候系统、生态系统、鸟群、蚁群、细胞和大脑等。这些系统展现出丰富的非线性动力学行为，它们的行为模式复杂且难以预测。同时，复杂系统具有涌现现象，即系统的整体行为超越了其组成部分的简单总和，整体展现出其组成部分所不具备的新特性，这是理解宏观与微观之间关系的关键。<s>（复杂系统涌现）</s>
在自然界和人类社会中，存在着许多由无数相互作用的元素构成的复杂系统，如气候系统、生态系统、鸟群、蚁群、细胞和大脑等。这些系统展现出丰富的非线性动力学行为，它们的行为模式复杂且难以预测。同时，复杂系统具有涌现现象，即系统的整体行为超越了其组成部分的简单总和，整体展现出其组成部分所不具备的新特性，这是理解宏观与微观之间关系的关键。<s>（复杂系统涌现）</s>
=== 基于信息分解的因果涌现识别 ===
=== 基于信息分解的因果涌现识别 ===
Rosas等提出了判定因果涌现发生的充分条件，且基于信息分解提出<math>\mathrm{\Psi} </math> ，用于识别系统中的因果涌现，具体计算公式如下：
<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>
<math>\Psi_{t, t+1}(V):=I\left(V_t ; V_{t+1}\right)-\sum_j I\left(X_t^j ; V_{t+1}\right) </math>
式中：
当<math>\mathrm{\Psi}>0 </math>时，宏观状态<math>V </math>会发生涌现。当<math>\mathrm{\Psi}<0 </math>，我们不能确定宏观状态<math>V </math>是否发生涌现，此时需要借助进一步的指标。
该方法避开讨论粗粒化策略。但是也存在很多缺点：1）该方法只是基于信息分解计算没有考虑因果，同时该方法得到的仅仅是发生因果涌现的充分条件；2）该方法无法得到显式的宏观动力学以及粗粒化策略，然而这两项对于下游的任务往往十分重要；3）当系统具有大量冗余信息或具有许多变量时，该方法的计算复杂度仍然很高。
Kaplanis等人<ref name=":2">Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>，同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。 ''<u>（暂定）</u>''
Kaplanis等人<ref name=":2">Zhang J, Tao R, Yuan B. Dynamical Reversibility and A New Theory of Causal Emergence. arXiv preprint arXiv:2402.15054. 2024 Feb 23.</ref>基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用<math>f_{\theta}</math>神经网络来学习将微观输入<math>X_t</math>粗粒化成宏观输出<math>V_t</math>，同时使用神经网络<math>g_{\phi}</math>和<math>h_{\xi}</math>来分别学习<math>I(V_t;V_{t+1})</math>和<math>\sum_i(I(V_{t+1};X_{t}^i))</math>两者互信息的计算,最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。 ''<u>（暂定）（详细介绍？）（加图）</u>''
=== NIS系列 ===
=== NIS系列 ===
总的来说，NIS是一种新的神经网络框架，可被用于发现时间序列数据中的粗粒化策略、宏观动力学和涌现的因果关系。但是，此方法并未真正地最大化有效信息，可预测的条件分布也仅限于高斯或者拉普拉斯分布。
具体内容请参考[[NIS]]。
具体内容请参考[[NIS]]。
== 机器学习领域的分布外泛化问题''<u>（从那几方面写？）</u>'' ==
== 机器学习领域的分布外泛化问题 ==
分布外泛化（Out-of-Distribution Generalization，简称OOD Generalization）是指模型在面对与训练数据分布不同的新数据时，仍然能够保持较好的性能，涉及到模型对未知或未见情况的适应能力。
分布外泛化（Out-of-Distribution Generalization，简称OOD Generalization）是指模型在面对与训练数据分布不同的新数据时，仍然能够保持较好的性能，涉及到模型对未知或未见情况的适应能力。