“因果几何”的版本间的差异
（→黎曼流形） |
（→黎曼流形） |
||
| 第110行： | 第110行： | ||
</math>是行列式。 | </math>是行列式。 | ||
| − | === 黎曼流形 === | + | ==== 黎曼流形 ==== |
给定<math>\mathbf{x} | 给定<math>\mathbf{x} | ||
| 第120行： | 第120行： | ||
<math>\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2=\left|\det\left(\mathbb{E}_{\mathbf{y}|\mathbf{x}}\left[\partial_{\mu}\partial_{\nu}\ln p(\mathbf{y}|\mathbf{x})\right]\right)\right|, | <math>\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2=\left|\det\left(\mathbb{E}_{\mathbf{y}|\mathbf{x}}\left[\partial_{\mu}\partial_{\nu}\ln p(\mathbf{y}|\mathbf{x})\right]\right)\right|, | ||
</math> | </math> | ||
| + | |||
| + | 并且这恰好等价于分布<math>p(\mathbf{y}|\mathbf{x}) | ||
| + | </math>的负Fisher信息量的行列式： | ||
| + | |||
| + | <math>g_{\mu\nu}\equiv -\mathbb{E}_{\mathbf{y}|\mathbf{x}}\left[\partial_{\mu}\partial_{\nu}\ln p(\mathbf{y}|\mathbf{x})\right], | ||
| + | </math> | ||
| + | |||
| + | 它测量了随机映射<math>p(\mathbf{y}|\mathbf{x}) | ||
| + | </math>对<math>\mathbf{y} | ||
| + | |||
| + | </math>变化的敏感性，其中<math>\partial_{\mu}\equiv\frac{\partial}{x}_{\mu} | ||
| + | |||
| + | </math>表示关于<math>\mathbf{x} | ||
| + | |||
| + | </math>的第<math>\mu | ||
| + | |||
| + | </math>个分量的偏导数。因此，我们定义了参数空间<math>\mbox{$\mathbf{x}\in[-L/2，L/2]^n$} | ||
| + | |||
| + | </math>上黎曼流形<math>\mathcal{M}=\{p(\mathbf{y}|\mathbf{x}\｝ | ||
| + | |||
| + | </math>的一个距离度量，它包含了<math>p(\mathbf{y}|\mathbf{x}) | ||
| + | |||
| + | </math>的所有可能分布。这就是本框架中“几何”一词的由来。 | ||
协同披露中，数据集，潜在特性，中间量之间存存在马尔可夫动力学的性质。 | 协同披露中，数据集，潜在特性，中间量之间存存在马尔可夫动力学的性质。 | ||
2024年4月22日 (一) 16:15的版本
不同于离散状态空间或网络，现实中很多动力学演化过程，如鸟群、股票价格、布朗运动、微生物存活率，状态空间都是连续的。
因果几何，意在分析如何测量连续空间中的因果涌现，主要是将用于度量因果的有效信息（EI）从离散状态空间拓展到状态空间连续的随机映射，在随机噪声的因果函数模型，分析EI的计算方法和因果涌现的产生条件。EI计算方法还可以从一维拓展到高维，用矩阵论的方法，得到高维模型下EI的计算。
在推进过程中为了消除人工设置的参数对EI计算的主管影响，会黎曼流形的概念，分析信息几何和因果几何的相关性质，使EI计算以及因果涌现的判断更为有效合理。
连续空间随机映射
随机映射与观测噪声
形如[math]\displaystyle{ y=f(x)+\varepsilon, \varepsilon\sim\mathcal{N}(0,\epsilon^2) }[/math]的随机映射，可以分为两部分，确定映射和随机噪声。 其表达了从[math]\displaystyle{ x }[/math]所处空间[math]\displaystyle{ \mathcal{X} }[/math]到从[math]\displaystyle{ y }[/math]所处空间[math]\displaystyle{ \mathcal{Y} }[/math]的随机映射。随机映射可以用转移概率[math]\displaystyle{ p(y|x)=\mathcal{N}(f(x),\epsilon^2) }[/math]的形式表达。
确定部分为一个[math]\displaystyle{ y }[/math]关于[math]\displaystyle{ y }[/math]因果模型可以用[math]\displaystyle{ y=f(x) }[/math]进行表达，其本质上属于一个从[math]\displaystyle{ x }[/math]所处空间[math]\displaystyle{ \mathcal{X} }[/math]到从[math]\displaystyle{ y }[/math]所处空间[math]\displaystyle{ \mathcal{Y} }[/math]的确定映射。它反映了整个系统内在的实际因果机制。
随机噪声[math]\displaystyle{ \varepsilon\sim\mathcal{N}(0,\epsilon^2) }[/math]是由于观测工具的缺陷或估读偏差所产生的误差，这种误差产生的噪声被称为观测噪声，观察噪声导致了系统的不确定性，使[math]\displaystyle{ y }[/math]变为与[math]\displaystyle{ f(x) }[/math]相关，但具有随机性的变量。
人工干预与干预噪声
为了更好的判断两个变量的因果关系，而不受到其他变量影响，我们需要引入能够影自变量[math]\displaystyle{ x }[/math]分布的干预措施[math]\displaystyle{ do(x) }[/math]。最常用且最有效的方法，是让[math]\displaystyle{ x }[/math]服从均匀分布，即[math]\displaystyle{ do(x)\sim U[-L/2,L/2] }[/math]，[math]\displaystyle{ L }[/math]是干预后均匀分布的超参数。
干预噪声被添加到输入（干预）变量[math]\displaystyle{ x }[/math]。干预噪声表示为[math]\displaystyle{ \xi\sim\mathcal{N}(0,\delta^2) }[/math]，其中[math]\displaystyle{ \delta }[/math]是[math]\displaystyle{ \xi }[/math]的标准差。
有效信息EI
如果只存在观测噪声，[math]\displaystyle{ L=1 }[/math]，[math]\displaystyle{ \epsilon\ll 1 }[/math]，有效信息EI为：
[math]\displaystyle{ EI \approx \ln(\frac{L}{\sqrt{2\pi e}})+\frac{1}{2L}\int_{-L/2}^{L/2}\ln \left(\frac{f'(x)}{\epsilon}\right)^2dx. }[/math]
如果同时考虑两种噪声，并且如果[math]\displaystyle{ L=1 }[/math]和[math]\displaystyle{ \epsilon\ll 1 }[/math]，EI变为：
[math]\displaystyle{ EI\approx -\frac{1}{2}\int_{-1/2}^{1/2}\ln\left[\left(\frac{\epsilon}{f'(x)}\right)^2+\delta^2\right]dx. }[/math]
因果几何
信息几何
连续映射EI的表达式可以扩展到更高的维度，假设[math]\displaystyle{ \mathbf{x}\in[-L/2，L/2]^n\subset\mathcal{R}^n }[/math]且[math]\displaystyle{ \mathbf{y}\in\mathcal{R}^m }[/math]，其中[math]\displaystyle{ n }[/math]和[math]\displaystyle{ m }[/math]是正整数。只存在观测噪声的情况下，EI可以推广为以下形式：
[math]\displaystyle{ EI\approx \ln\left(\frac{L^n}{(2\pi e)^{m/2}}\right)+\frac{1}{2}\mathbb{E}_{\mathbf{x}\sim U ([-\frac{L}{2},\frac{L}{2}]^n)}\ln\left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2, }[/math]
其中[math]\displaystyle{ \Sigma }[/math]是高斯噪声[math]\displaystyle{ \varepsilon }[/math]的协方差矩阵，[math]\displaystyle{ U([-L，L]^n) }[/math]表示超立方体[math]\displaystyle{ [-L，L]^n }[/math]上的均匀分布，[math]\displaystyle{ |\cdot| }[/math]是绝对值运算，[math]\displaystyle{ \det }[/math]是行列式。
黎曼流形
给定[math]\displaystyle{ \mathbf{x} }[/math]的[math]\displaystyle{ \mathbf{y} }[/math]条件分布是高斯分布，[math]\displaystyle{ p(\mathbf{y}|\mathbf{x})=\mathcal{N}(f(\mathbf{x}),\Sigma) }[/math]。因此，方EI计算中的期望项可以写成：
[math]\displaystyle{ \left|\det\left(\frac{\partial_\mathbf{x} f(\mathbf{x})}{\Sigma^{1/2}}\right)\right|^2=\left|\det\left(\mathbb{E}_{\mathbf{y}|\mathbf{x}}\left[\partial_{\mu}\partial_{\nu}\ln p(\mathbf{y}|\mathbf{x})\right]\right)\right|, }[/math]
并且这恰好等价于分布[math]\displaystyle{ p(\mathbf{y}|\mathbf{x}) }[/math]的负Fisher信息量的行列式：
[math]\displaystyle{ g_{\mu\nu}\equiv -\mathbb{E}_{\mathbf{y}|\mathbf{x}}\left[\partial_{\mu}\partial_{\nu}\ln p(\mathbf{y}|\mathbf{x})\right], }[/math]
它测量了随机映射[math]\displaystyle{ p(\mathbf{y}|\mathbf{x}) }[/math]对[math]\displaystyle{ \mathbf{y} }[/math]变化的敏感性，其中[math]\displaystyle{ \partial_{\mu}\equiv\frac{\partial}{x}_{\mu} }[/math]表示关于[math]\displaystyle{ \mathbf{x} }[/math]的第[math]\displaystyle{ \mu }[/math]个分量的偏导数。因此，我们定义了参数空间[math]\displaystyle{ \mbox{$\mathbf{x}\in[-L/2，L/2]^n$} }[/math]上黎曼流形[math]\displaystyle{ \mathcal{M}=\{p(\mathbf{y}|\mathbf{x}\｝ }[/math]的一个距离度量，它包含了[math]\displaystyle{ p(\mathbf{y}|\mathbf{x}) }[/math]的所有可能分布。这就是本框架中“几何”一词的由来。
协同披露中，数据集，潜在特性，中间量之间存存在马尔可夫动力学的性质。
所谓的马尔可夫动力学是指系统的下一时刻状态只依赖于上一时刻的状态，并且与再之前的状态无关。马尔可夫动力学可以区分为离散时间、连续时间，离散状态、连续状态，以及它们的组合等多种。
由于[math]\displaystyle{ W }[/math]可以通过[math]\displaystyle{ X }[/math]直接数据披露产生，故可以定义，[math]\displaystyle{ W }[/math]对于[math]\displaystyle{ X }[/math]有马尔可夫依赖。由于[math]\displaystyle{ Y }[/math]是从数据集[math]\displaystyle{ X }[/math]中变化产生，故[math]\displaystyle{ Y }[/math]对[math]\displaystyle{ X }[/math]也存在马尔可夫依赖。因此可以用，[math]\displaystyle{ p_{W|X} }[/math]和[math]\displaystyle{ p_{Y|X} }[/math]两个条件表示[math]\displaystyle{ W }[/math]对[math]\displaystyle{ X }[/math]，[math]\displaystyle{ Y }[/math]对[math]\displaystyle{ X }[/math]的映射关系。这样[math]\displaystyle{ W-X-Y }[/math]就可以构成一条马尔科夫链。[1][2]
中间量与数据集个体数据的独立性
- ↑ Rassouli, B. , Rosas, F. E. , & Gunduz, D. . (2019). Data disclosure under perfect sample privacy. IEEE Transactions on Information Forensics and Security, PP(99), 1-1.
- ↑ Rosas FE, Mediano PAM, Jensen HJ, Seth AK, Barrett AB, Carhart-Harris RL, et al. (2020) Reconciling emergences: An information-theoretic approach to identify causal emergence in multivariate data. PLoS Comput Biol 16(12): e1008289.