372
个编辑
更改
跳到导航
跳到搜索
第254行：
第254行： − + − + 第266行：
第266行： − 后来，在[[神经信息压缩器]]（Neural information squeezer, NIS）的框架被提出时，作者们发明了另一种有效信息的归一化方式，即用连续马尔科夫动力系统的状态空间维数来归一化EI，从而解决连续状态变量上的EI比较问题，这一指标被称为'''维度求平均的有效信息'''（Dimension Averaged Effective Information，简称dEI）。其描述为：+
→归一化
==归一化==
==归一化==
显然，EI的大小和状态空间大小有关，这一性质在我们比较不同尺度的[[马尔科夫链]]的时候非常不方便，我们需要一个尽可能不收尺度效应影响的[[因果效应度量]]。因此，我们需要对有效信息EI做一个归一化处理，得到和系统尺寸无关的一个量化指标。
显然，EI的大小和状态空间大小有关，这一性质在我们比较不同尺度的[[马尔科夫链]]的时候非常不方便，我们需要一个尽可能不受尺度效应影响的[[因果效应度量]]。因此，我们需要对有效信息EI做一个归一化处理，得到和系统尺寸无关的一个量化指标。
根据[[Erik Hoel]]和[[Tononi]]等人的工作，要用[[均匀分布]]即[[最大熵分布]]下的熵值，即<math>\log N</math>来做分母对EI进行归一化，这里的[math]N[/math]为状态空间[math]\mathcal{X}[/math]中的状态的数量。那么归一化后的EI便等于：
根据[[Erik Hoel]]和[[Tononi]]等人的工作，要用[[均匀分布]]即[[最大熵分布]]下的熵值，即<math>\log N</math>来做分母对EI进行归一化，这里的[math]N[/math]为状态空间[math]\mathcal{X}[/math]中的状态的数量<ref name=hoel_2013 />。那么归一化后的EI便等于：
<math>
<math>
然而，在处理连续状态变量的时候，这种使用状态空间中状态数量的对数值进行归一化的处理方式并不是非常合适，因为这一状态数往往收到变量的维度和实数分辨率的影响。
然而，在处理连续状态变量的时候，这种使用状态空间中状态数量的对数值进行归一化的处理方式并不是非常合适，因为这一状态数往往收到变量的维度和实数分辨率的影响。
在[[神经信息压缩器]]（Neural information squeezer, NIS）的框架被提出时<ref name=nis />，作者们发明了另一种有效信息的归一化方式，即用连续马尔科夫动力系统的状态空间维数来归一化EI，从而解决连续状态变量上的EI比较问题，这一指标被称为'''维度求平均的有效信息'''（Dimension Averaged Effective Information，简称dEI）。其描述为：
<math>
<math>