332
个编辑
更改
跳到导航
跳到搜索
第7行：
第7行： + +
→历史渊源
到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式。然而，这种扩充仍然存在着一个缺陷，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量，如[math]L[/math]无关，而且，[[维度平均EI]]也可以看作是一种[[归一化的EI]]，即Eff。
到了2022年，为了解决一般[[前馈神经网络]]的EI计算问题，[[刘凯威]]与[[张江]]又将[[因果几何]]中的连续变量的EI计算方法的方差限制去掉，探讨了EI的更一般形式。然而，这种扩充仍然存在着一个缺陷，由于实数域上变量的均匀分布严格讲是定义在无穷大空间上的，为了避免遭遇无穷大，EI的计算中就会带着一个参数[math]L[/math]，表示均匀分布的区间范围。为了避免这个缺陷，也为了在不同[[粗粒化]]程度上比较EI，作者们便提出了[[维度平均EI]]的概念，并发现由[[维度平均EI]]定义的[[因果涌现度量]]是一个仅与[[神经网络]]的[[雅可比矩阵]]的行列式对数值期望与两个比较维度的[[随机变量方差]]有关的量，而与其它参量，如[math]L[/math]无关，而且，[[维度平均EI]]也可以看作是一种[[归一化的EI]]，即Eff。
本质上讲，EI仅仅与一个[[马尔科夫动力系统]]的[[动力学]]——也就是有关[[马尔科夫状态转移矩阵]]有关，而与状态变量的分布无关，然而，这一点在之前的文章中并没有被指出或刻意强调。在2024年的[[袁冰]]等人的综述文章，作者们进一步强调了这一点，并给出了EI仅依赖于[[马尔科夫状态转移矩阵]]的显式形式。[[张江]]等人在最新的讨论[[动力学可逆性]]与[[因果涌现]]的最新文章中，又指出EI实际上是对底层[[马尔科夫状态转移矩阵]]的[[可逆性]]的一种刻画，于是尝试直接刻画这种[[马尔科夫链的动力学可逆性]]以替代EI。
=Do形式及解释=
=Do形式及解释=