761
个编辑
更改
→理论
:<math>\displaystyle{ \arg\min_{K' \in \mathbb{C}^{N \times N}} \left\{ \int_{\mathcal{X}} \max_{\substack{g \in \mathbb{C}^{N}, \\ \|\boldsymbol{g}\|=1}} |r(g, \boldsymbol{x})|^2 d\omega(\boldsymbol{x}) = \int_{\mathcal{X}} \|\Psi(F(\boldsymbol{x})) - \Psi(\boldsymbol{x}) K'\|_{\ell^2}^2 d\omega(\boldsymbol{x}) \right\} }</math>
:<math>\displaystyle{ \arg\min_{K' \in \mathbb{C}^{N \times N}} \left\{ \int_{\mathcal{X}} \max_{\substack{g \in \mathbb{C}^{N}, \\ \|\boldsymbol{g}\|=1}} |r(g, \boldsymbol{x})|^2 d\omega(\boldsymbol{x}) = \int_{\mathcal{X}} \|\Psi(F(\boldsymbol{x})) - \Psi(\boldsymbol{x}) K'\|_{\ell^2}^2 d\omega(\boldsymbol{x}) \right\} }</math>
等式中，<math>d\omega(\boldsymbol{x})</math>表示关于测度<math>\omega</math>的积分，一般情况下，是标准的Lebesgue测度<math>d(\boldsymbol{x})</math>，左边的最大化残差项意味着寻找同一组字典函数下最差的观测方向。我们希望最终得到的<math>K</math>即使在最差的观测函数系数下也依然有最小的残差。为了方便比较，我们需要保持<math>\|\boldsymbol{g}\|=1</math>，即所有的系数向量都是单位向量，这样的话我们关注的就只是系数向量的方向。根据[[柯西-施瓦茨不等式（Cauchy-Schwarz inequality）]]和范数的定义，一个向量的[[欧几里得范数（2-范数）]]就是它在所有单位向量方向上[[投影]]的最大值。所以原本求解残差项最大的计算就转化为了上式中等号右边的积分项，其中<math>\|\mathbf{ · }\|_{\ell^2}</math>表示向量的标准欧几里得范数。
等式中，<math>d\omega(\boldsymbol{x})</math>表示关于测度<math>\omega</math>的积分，一般情况下，是标准的[[Lebesgue测度]]<math>d(\boldsymbol{x})</math>，左边的最大化残差项意味着寻找同一组字典函数下最差的观测方向。我们希望最终得到的<math>K</math>即使在最差的观测函数系数下也依然有最小的残差。为了方便比较，我们需要保持<math>\|\boldsymbol{g}\|=1</math>，即所有的系数向量都是单位向量，这样的话我们关注的就只是系数向量的方向。根据[[柯西-施瓦茨不等式（Cauchy-Schwarz inequality）]]和范数的定义，一个向量的[[欧几里得范数（2-范数）]]就是它在所有单位向量方向上[[投影]]的最大值。所以原本求解残差项最大的计算就转化为了上式中等号右边的积分项，其中<math>\|\mathbf{ · }\|_{\ell^2}</math>表示向量的标准欧几里得范数。
不过实际计算中无法直接计算积分（[[状态空间]]连续，无法遍历所有状态），因此我们需要用加权求和的方式近似积分：以<math>\displaystyle{ \{x_j\}_{j=1}^M }</math>为[[节点]]，<math>\boldsymbol{y}^{(j)} = F(\boldsymbol{x}^{(j)}) </math>，<math>\displaystyle{ \{w_j\}_{j=1}^M }</math>为权重，<math>M </math>为[[初始条件]]数量。通过这种方式，把连续的积分转化为离散的加权和，原来的优化问题就变成了更容易计算的'''[[加权最小二乘问题]]'''：
不过实际计算中无法直接计算积分（[[状态空间]]连续，无法遍历所有状态），因此我们需要用加权求和的方式近似积分：以<math>\displaystyle{ \{x_j\}_{j=1}^M }</math>为[[节点]]，<math>\boldsymbol{y}^{(j)} = F(\boldsymbol{x}^{(j)}) </math>，<math>\displaystyle{ \{w_j\}_{j=1}^M }</math>为权重，<math>M </math>为[[初始条件]]数量。通过这种方式，把连续的积分转化为离散的加权和，原来的优化问题就变成了更容易计算的'''[[加权最小二乘问题]]'''：