更改

NIS+ (查看源代码)

2024年9月7日 (六) 10:56的版本

添加441字节、 2024年9月7日 (星期六)

→‎基于信息分解的因果涌现识别

第30行：第30行：

当<math>\Psi_{t, t+1}(V) > 0 </math>，系统发生[[因果涌现]]。但当<math>\mathrm{\Psi}<0 </math>，我们不能确定系统是否发生[[因果涌现]]。

−

~~需要指出的是，Rosas方法是对~~[[互信息]]进行进一步分解，整个过程没有引入do干预，因而是基于相关性度量的。而Hoel的因果涌现理论则是基于Judea ~~Pearl因果的。~~

+

需要指出的是，[[Rosas的因果涌现识别方法]]是对[[互信息]]进行进一步分解，整个过程没有引入do干预，因而是基于相关性度量的。而Hoel的因果涌现理论则是基于Judea Pearl的因果理论，并引入了[[do操作]]的。

−

Rosas方法因为是基于相关性的，所以计算比较方便，不需要找到底层的动力学机制。且对系统的动力学没有马尔可夫性的假设和要求。但是也存在一些缺点：

−

~~1）该方法只是基于[[互信息]]计算，且得到的仅仅是发生[[因果涌现]]的近似的充分条件；~~

+

Rosas方法因为是基于相关性的，所以计算比较方便，不需要找到底层的动力学机制。且对系统的动力学没有马尔可夫性的假设和要求。但是该方法也存在一些缺点：

−

~~2）该方法需要手动给定粗粒化策略，以及基于此得到宏观变量V，而不同的选择会对结果造成显著影响；~~

+

* 该方法只是基于[[互信息]]计算，因此得到的结果仅仅是相关性刻画而不是因果性的刻画；

−

~~3）高维系统中，<math>\Psi </math>作为近似条件，误差非常大，很容易得到负值，从而无法判断是否有因果涌现发生。~~

+

* 该判别方法得到的仅仅是发生[[因果涌现]]的近似的充分条件；

−

~~为了能够自动找到最佳的粗粒化策略，这套理论框架也发展出了相应的机器学习方法~~<ref>Kaplanis Christos, Mediano Pedro, Rosas Fernando. Learning Causally Emergent Representations''. NeurIPS 2023 workshop: Information-Theoretic Principles in Cognitive Systems''</ref>。Kaplanis等人基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用神经网络来学习将微观输入粗粒化成宏观输出，同时使用两个神经网络来分别学习[[互信息]]的计算，最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)~~来优化学习。~~

+

* 该方法需要手动给定粗粒化策略，以及基于此粗粒化得到宏观变量V，而不同的粗粒化测量会对结果造成不同的显著影响；

+

* 在高维系统中，<math>\Psi </math>作为近似条件，误差非常大，很容易得到负值，从而无法准确地判断是否有因果涌现发生。

+

为了能够自动找到最佳的粗粒化策略，这套理论框架也发展出了相应的机器学习求解方案<ref>Kaplanis Christos, Mediano Pedro, Rosas Fernando. Learning Causally Emergent Representations''. NeurIPS 2023 workshop: Information-Theoretic Principles in Cognitive Systems''</ref>。Kaplanis等人基于机器学习的方法学习宏观态<math>V</math>以及最大化<math>\mathrm{\Psi} </math>：使用神经网络来学习将微观输入粗粒化成宏观输出，同时使用两个神经网络来分别学习[[互信息]]的计算，最后通过最大化两者之间的差(即<math>\mathrm{\Psi} </math>)来优化学习。这种方法虽然能在一定程度上缓解上述困境，但是它仍旧无法解决大规模计算的问题。这是因为，根据该机器学习框架，神经网络的数量会随着变量数的增加而呈现平方速度的增长。

=== NIS系列 ===

Jake

786

个编辑