信息几何学

统计流形

统计流形是由一族概率分布构成的光滑几何结构，每个概率分布对应流形上的一个点。全模型M的所有联合概率分布[math]\displaystyle{ p(x,y) }[/math]（x和y分别为系统当前与下一状态向量）构成统计流形，分布间的差异通过Kullback-Leibler（KL）散度衡量[]。

指数族

统计流形中一类重要的概率分布，其概率密度函数可表示为指数形式。全模型M的二元分布（[math]\displaystyle{ x_i, y_i }[/math]取 0 或 1）属于指数族，形式为：[math]\displaystyle{ p(x,y) = \exp\left\{ \sum \theta_i^X x_i + \sum \theta_j^Y y_j + \sum \theta_{ij}^{XX} x_i x_j + \sum \theta_{ij}^{YY} y_i y_j + \sum \theta_{ij}^{XY} x_i y_j + h(x,y) - \psi \right\} }[/math]

其中[math]\displaystyle{ \theta }[/math]为参数，[math]\displaystyle{ \psi }[/math]为归一化因子，其分布集合形成对偶平坦流形[]。

对偶坐标

对偶平坦流形上的一对互补坐标系统：e 坐标（[math]\displaystyle{ \theta }[/math]坐标）：基于分布的自然参数，直接定义概率分布的数学形式；m 坐标（[math]\displaystyle{ \eta }[/math]坐标）：基于随机变量函数的期望（如[math]\displaystyle{ \eta_{ij}^{XY}=E[x_i y_j] }[/math]），描述分布的统计特性。 二者通过 Legendre 变换相互关联，实现参数与统计特性的双向映射。