3,094
个编辑
更改
跳到导航
跳到搜索
第59行：
第59行： + + + + + + +
→超参数与实现要点
* '''为何使用差分 <math>p_+ - p_-</math>'''：作者报告仅使用 <math>p_+</math> 往往不如差分有效（见附录中无效例），因此采用对比[[提示词]]对来“隐式指定[[方向]]”。[^https://arxiv.org/pdf/2308.10248v4]
* '''为何使用差分 <math>p_+ - p_-</math>'''：作者报告仅使用 <math>p_+</math> 往往不如差分有效（见附录中无效例），因此采用对比[[提示词]]对来“隐式指定[[方向]]”。[^https://arxiv.org/pdf/2308.10248v4]
* '''访问中间激活的要求'''：方法需要缓存并暴露中间激活，因而更适用于开源/研究环境或可访问激活的部署方式。[^https://arxiv.org/pdf/2308.10248v4]
* '''访问中间激活的要求'''：方法需要缓存并暴露中间激活，因而更适用于开源/研究环境或可访问激活的部署方式。[^https://arxiv.org/pdf/2308.10248v4]
其中，
* <math>a</math>：[[序列对齐]]位置（sequence alignment position），用于对齐引导[[向量]]与用户[[提示词]]在[[序列]]维度上的加法位置。
* <math>M</math>：预训练[[语言模型]]（pretrained language model）。
* <math>\mathbf{h}^l(\cdot)</math>：输入在层 <math>l</math> 处读取到的激活表示（论文语境中对应残差流/中间激活位置）。
== 评估指标与实验设置 ==
== 评估指标与实验设置 ==