更改

== 概述 ==

== 概述 ==

ActAdd 的核心思想是：用一对自然语言“对比[[提示词]]”（contrast pair）在指定层的激活差分，构造一个表示目标属性[[方向]]的'''引导[[向量]]'''，再将该[[向量]]（经强度系数缩放）加到用户[[提示词]]的对应层激活上，使模型输出朝目标属性偏转。作者在多种模型（如 [[GPT]]-2、OPT、LLaMA-3、[[GPT]]-J）上报告了其对主题、情感、风格等属性的可控性，并在去毒与情感控制任务上给出对比实验，同时展示其对非目标能力影响较小（见文献<ref name='ActAdd'/>中的图3）。

ActAdd 的核心思想是：用一对自然语言“对比[[提示词]]”（contrast pair）在指定层的激活差分，构造一个表示目标属性[[方向]]的'''引导[[向量]]'''，再将该[[向量]]（经强度系数缩放）加到用户[[提示词]]的对应层激活上，使模型输出朝目标属性偏转。作者在多种模型（如 [[GPT]]-2、OPT、LLaMA-3、[[GPT]]-J）上报告了其对主题、情感、风格等属性的可控性，并在去毒与情感控制任务上给出对比实验，同时展示其对非目标能力影响较小（见文献<ref name='actadd'/>中的图3）。

ActAdd算法的示例效果如下表所示

ActAdd算法的示例效果如下表所示

{| class="wikitable" style="width:40%;"

{| class="wikitable" style="width:40%;"

|+ 表 1：应用 ActAdd 前（“无”）与应用后（“ActAdd”）的输出对比。使用的引导向量分别为（Love − Hate）以及（“我一直在谈论婚礼” − “我并不一直在谈论婚礼”）。详细见<ref name='ActAdd'/>中的表1

|+ 表 1：应用 ActAdd 前（“无”）与应用后（“ActAdd”）的输出对比。使用的引导向量分别为（Love − Hate）以及（“我一直在谈论婚礼” − “我并不一直在谈论婚礼”）。详细见<ref name='actadd'/>中的表1

! 提示词（Prompt）

! 提示词（Prompt）

! + 引导（steering）

! + 引导（steering）

===ActAdd算法===

===ActAdd算法===

以下为与论文<ref name="ActAdd"/>中的 [[Algorithm]] 1 等价的算法表述（略去实现细节，仅保留关键步骤）：

以下为与论文<ref name="actadd"/>中的 [[Algorithm]] 1 等价的算法表述（略去实现细节，仅保留关键步骤）：

# 对齐 token 长度：将 <math>(p_+,p_-)</math> 右侧填充到相同 token 长度，得 <math>(p'_+,p'_-)</math>。

# 对齐 token 长度：将 <math>(p_+,p_-)</math> 右侧填充到相同 token 长度，得 <math>(p'_+,p'_-)</math>。