'''ActAdd'''('''Activation Addition''',中文常译“激活加法”)是一种用于在'''推理时'''(inference-time)控制大型语言模型(LLM)输出行为的方法。ActAdd 属于'''激活工程'''(activation engineering):不改动模型权重,而是在一次前向传播中对模型中间层的残差流激活进行加性干预,从而改变生成文本的高层属性(如主题、情感、风格、去毒等)。该方法由论文《Activation Addition: Steering Language Models Without Optimization》提出,强调其'''无需优化'''(no optimization)与'''无需标注数据'''(除提示词外)即可构造可用的“引导向量(steering vector)”。[^https://arxiv.org/pdf/2308.10248v4] | '''ActAdd'''('''Activation Addition''',中文常译“激活加法”)是一种用于在'''推理时'''(inference-time)控制大型语言模型(LLM)输出行为的方法。ActAdd 属于'''激活工程'''(activation engineering):不改动模型权重,而是在一次前向传播中对模型中间层的残差流激活进行加性干预,从而改变生成文本的高层属性(如主题、情感、风格、去毒等)。该方法由论文《Activation Addition: Steering Language Models Without Optimization》提出,强调其'''无需优化'''(no optimization)与'''无需标注数据'''(除提示词外)即可构造可用的“引导向量(steering vector)”。[^https://arxiv.org/pdf/2308.10248v4] |