| 第55行: |
第55行: |
| | | | |
| | === 超参数与实现要点 === | | === 超参数与实现要点 === |
| − | * '''注入系数 <math>c</math>''':代表[[干预]]强度。论文报告常用绝对值约 <math>3</math>–<math>15</math>,并可用网格搜索选择。[^https://arxiv.org/pdf/2308.10248v4] | + | * '''注入系数 <math>c</math>''':代表[[干预]]强度。论文报告常用绝对值约 <math>3</math>–<math>15</math>,并可用网格搜索选择。 |
| − | * '''注入层 <math>l</math>''':作者指出中间层往往更有效,并展示了对各层扫描时的效果变化。[^https://arxiv.org/pdf/2308.10248v4] | + | * '''注入层 <math>l</math>''':作者指出中间层往往更有效,并展示了对各层扫描时的效果变化。 |
| − | * '''为何使用差分 <math>p_+ - p_-</math>''':作者报告仅使用 <math>p_+</math> 往往不如差分有效(见附录中无效例),因此采用对比[[提示词]]对来“隐式指定[[方向]]”。[^https://arxiv.org/pdf/2308.10248v4] | + | * '''为何使用差分 <math>p_+ - p_-</math>''':作者报告仅使用 <math>p_+</math> 往往不如差分有效(见附录中无效例),因此采用对比[[提示词]]对来“隐式指定[[方向]]”。 |
| − | * '''访问中间激活的要求''':方法需要缓存并暴露中间激活,因而更适用于开源/研究环境或可访问激活的部署方式。[^https://arxiv.org/pdf/2308.10248v4] | + | * '''预训练[[语言模型]](pretrained language model)'''<math>M</math>。 |
| − | | + | * '''输入在层 <math>l</math> 处读取到的激活表示(论文语境中对应残差流/中间激活位置)'''<math>\mathbf{h}^l(\cdot)</math>:访问中间激活的要求:方法需要缓存并暴露中间激活,因而更适用于开源/研究环境或可访问激活的部署方式。 |
| − | | |
| − | 其中,
| |
| − | | |
| − | * <math>a</math>:[[序列对齐]]位置(sequence alignment position),用于对齐引导[[向量]]与用户[[提示词]]在[[序列]]维度上的加法位置。
| |
| − | * <math>M</math>:预训练[[语言模型]](pretrained language model)。 | |
| − | * <math>\mathbf{h}^l(\cdot)</math>:输入在层 <math>l</math> 处读取到的激活表示(论文语境中对应残差流/中间激活位置)。
| |
| | | | |
| | == 评估指标与实验设置 == | | == 评估指标与实验设置 == |