更改

</math>

</math>

</blockquote>

</blockquote>

其中<math>S={\rm diag}(s_1,\cdots,s_n)</math>和<math>K={\rm diag}(\kappa_i,\cdots,\kappa_n)</math>分别是奇异值<math>s_1\geq\cdots\geq s_n</math>和<math>\kappa_1\geq\cdots\geq \kappa_n</math>组成的对角矩阵，奇异向量矩阵<math>U=(u_1,\cdots,u_n)</math>和<math>V=(v_1,\cdots,v_n)</math>分别包含了两组奇异值对应的奇异向量，它们也可以分别看成两个生成空间的正交积。当我们得到<math>r_\epsilon</math>之后, 理论上就分别需要保留奇异值<math>s_1,\cdots,s_{r_\epsilon}</math>和<math>\kappa_1,\cdots, \kappa_{r_\epsilon}</math>，因此粗粒化映射<math>\phi(x_t)=Wx_t</math>中的参数矩阵<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>应与它们对应的奇异向量尽量平行而不是正交。 我们可以根据有效秩，将奇异向量划分为

其中<math>S={\rm diag}(s_1,\cdots,s_n)</math>和<math>K={\rm diag}(\kappa_i,\cdots,\kappa_n)</math>分别是奇异值<math>s_1\geq\cdots\geq s_n</math>和<math>\kappa_1\geq\cdots\geq \kappa_n</math>组成的对角矩阵，奇异向量矩阵<math>U=(u_1,\cdots,u_n)</math>和<math>V=(v_1,\cdots,v_n)</math>分别包含了两组奇异值对应的奇异向量，它们也可以被分别看成两个生成空间的正交积。当我们得到<math>r_\epsilon</math>之后, 理论上就分别需要保留奇异值<math>s_1,\cdots,s_{r_\epsilon}</math>和<math>\kappa_1,\cdots, \kappa_{r_\epsilon}</math>，因此粗粒化映射<math>\phi(x_t)=Wx_t</math>中的参数矩阵<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>应与它们对应的奇异向量尽量平行而不是正交。 我们可以根据有效秩，将奇异向量划分为

<blockquote>

<blockquote>

<math>U=(U_1,U_2),U_1\in\mathcal{R}^{n\times r_\epsilon},U_2\in\mathcal{R}^{n\times (n-r_\epsilon)}

<math>U=(U_1,U_2),U_1\in\mathcal{R}^{n\times r_\epsilon},U_2\in\mathcal{R}^{n\times (n-r_\epsilon)}

其中<math>\Omega_{{\rm I}}</math>对应<math>U_1</math>和<math>V_1</math>生成空间的交空间，若粗粒化策略的几个维度从该空间生成，那么该空间中的奇异向量对应的奇异值都会被保留，不存在冲突。而<math>\Omega_{{\rm II}}</math>中的向量不与<math>U_2</math>和<math>V_2</math>正交，这意味着，在保留大于<math>\epsilon</math>的奇异值的同时，会有理论上应被舍弃的奇异值保留下来。由于<math>\Omega_{{\rm I}}</math>包含于<math>U_1</math>和<math>V_1</math>生成空间，所以它的维度可能会小于<math>r_\epsilon</math>，因此我们仍然需要从<math>\Omega_{{\rm II}}</math>中生成向量补全<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>的维度。因此我们生成粗粒化策略的参数矩阵可以分为两步。

其中<math>\Omega_{{\rm I}}</math>对应<math>U_1</math>和<math>V_1</math>生成空间的交空间，若粗粒化策略的几个维度从该空间生成，那么该空间中的奇异向量对应的奇异值都会被保留，不存在冲突。而<math>\Omega_{{\rm II}}</math>中的向量不与<math>U_2</math>和<math>V_2</math>正交，这意味着，在保留大于<math>\epsilon</math>的奇异值的同时，会有理论上应被舍弃的奇异值保留下来。由于<math>\Omega_{{\rm I}}</math>包含于<math>U_1</math>和<math>V_1</math>生成空间，所以它的维度可能会小于<math>r_\epsilon</math>，因此我们仍然需要从<math>\Omega_{{\rm II}}</math>中生成向量补全<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>的维度。因此我们生成粗粒化策略的参数矩阵可以分为两步。

===协同粗粒化===

===第一步：协同粗粒化===

第一步，就是从<math>\Omega_{{\rm I}}</math>中生成可以同时保留大于<math>\epsilon</math>的奇异值，且不存在冲突的部分。首先我们要计算出矩阵<math>(U_1,-V_1)</math>的零空间的施密特正交基，

第一步，就是从<math>\Omega_{{\rm I}}</math>中生成可以同时保留大于<math>\epsilon</math>的奇异值，且不存在冲突的部分。首先我们要计算出矩阵<math>(U_1,-V_1)</math>的零空间的施密特正交基，

<blockquote>

<blockquote>

</blockquote>

</blockquote>

===调和粗粒化===

===第二步：调和粗粒化===

由于<math>\Omega_{{\rm I}}</math>包含于<math>U_1</math>和<math>V_1</math>生成空间，所以它的维度<math>r_{{\rm I}}\leq r_\epsilon</math>，因此我们仍需要<math>r_{{\rm II}}= r_\epsilon-r_{{\rm I}}</math>个<math>\Omega_{{\rm II}}</math>中的向量来补全<math>W</math>，这里我们就可以尽量将包含于<math>\Omega_{{\rm II}}</math>中的向量对应的较大的奇异值被保留。我们可以将这些奇异值放入向量<math>\mathbf{S}=\{s_i,\kappa_j|u_i,v_j\in\Omega_2\}</math>中，并从大到小进行排列得到<math>Q=(q_i|q_i\in\mathbf{S})</math>后，取其中最大的<math>r_{{\rm II}}</math>个奇异值对应的奇异向量，并进行施密特正交化，得到<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>矩阵的第二块

由于<math>\Omega_{{\rm I}}</math>包含于<math>U_1</math>和<math>V_1</math>生成空间，所以它的维度<math>r_{{\rm I}}\leq r_\epsilon</math>，因此我们仍需要<math>r_{{\rm II}}= r_\epsilon-r_{{\rm I}}</math>个<math>\Omega_{{\rm II}}</math>中的向量来补全<math>W</math>，这里我们就可以尽量将包含于<math>\Omega_{{\rm II}}</math>中的向量对应的较大的奇异值保留。我们可以将这些奇异值放入向量<math>\mathbf{S}=\{s_i,\kappa_j|u_i,v_j\in\Omega_2\}</math>中，并从大到小进行排列得到<math>Q=(q_i|q_i\in\mathbf{S})</math>后，取其中最大的<math>r_{{\rm II}}</math>个奇异值对应的奇异向量，并进行施密特正交化，得到<math>W\in\mathcal{R}^{r_\epsilon\times n}</math>矩阵的第二块

<blockquote>

<blockquote>

<math>

<math>