| − | 作者将 ActAdd 与 prompt engineering 对比,指出:[[提示词]]控制是离散的(token 要么出现要么不出现),而 ActAdd 的注入系数 <math>c</math> 可[[连续]]调节;此外,ActAdd 不占用上下文窗口 token(无需长 meta-prompt),从而减少一种控制开销。作者进一步推测 prompting 可能通过将模型条件化到激活空间的某些区域来“激活目标”,而 ActAdd 可视为对这种机制的推广,并可能实现某些[[提示词]]难以实现的控制(详见附录讨论)。[^https://arxiv.org/pdf/2308.10248v4] | + | 作者将 ActAdd 与 prompt engineering 对比,指出:[[提示词]]控制是离散的(token 要么出现要么不出现),而 ActAdd 的注入系数 <math>c</math> 可[[连续]]调节;此外,ActAdd 不占用上下文窗口 token(无需长 meta-prompt),从而减少一种控制开销。作者进一步推测 prompting 可能通过将模型条件化到激活空间的某些区域来“激活目标”,而 ActAdd 可视为对这种机制的推广,并可能实现某些[[提示词]]难以实现的控制(详见附录讨论)。 |