ActAdd方法 - 版本历史

Jake：/* 概述 */

2026-03-17T02:01:51Z

概述

Jake：/* 参考文献 */

2026-03-17T02:01:23Z

参考文献

2026年3月17日 (二) 02:00 Jake

2026-03-17T02:00:54Z

Jake：/* 参见 */

2026-03-17T01:59:44Z

参见

Jake：/* 局限性与风险 */

2026-03-17T01:58:55Z

局限性与风险

Jake：/* 与提示词工程的关系 */

2026-03-17T01:58:17Z

与提示词工程的关系

Jake：/* Figure 4：推理开销（Inference time premium） */

2026-03-17T01:57:51Z

Figure 4：推理开销（Inference time premium）

Jake：/* Figure 3：非目标能力保留（ConceptNet 的 P@K） */

2026-03-17T01:57:11Z

Figure 3：非目标能力保留（ConceptNet 的 P@K）

Jake：/* Figure 4：推理开销（Inference time premium） */

2026-03-17T01:54:55Z

Figure 4：推理开销（Inference time premium）

Jake：/* Figure 3：非目标能力保留（ConceptNet 的 P@K） */

2026-03-17T01:49:50Z

Figure 3：非目标能力保留（ConceptNet 的 P@K）

@@ 第6行： / 第6行： @@
 ActAdd算法的示例效果如下表所示
-{| class="wikitable" style="width:40%;"
+{| class="wikitable" style="width:80%;"
 |+ 表 1：应用 ActAdd 前（“无”）与应用后（“ActAdd”）的输出对比。使用的引导向量分别为（Love − Hate）以及（“我一直在谈论婚礼” − “我并不一直在谈论婚礼”）。详细见<ref name='actadd'/>中的表1
 ! 提示词（Prompt）

←上一版本		2026年3月17日 (二) 02:01的版本
第242行：		第242行：

	== 参考文献 ==		== 参考文献 ==
−	* Alexander Matt Turner 等，《Activation Addition: Steering Language Models Without Optimization》，arXiv:2308.10248v4。[^https://arxiv.org/pdf/2308.10248v4]
	<references />		<references />

←上一版本		2026年3月17日 (二) 02:00的版本
第1行：		第1行：
−	'''ActAdd'''（'''Activation Addition'''，中文常译“激活加法”）是一种用于在'''推理时'''（inference-time）控制[[大型语言模型]]（LLM）输出行为的方法，也是研究[[AI可解释性]]的一种手段。ActAdd 属于'''[[激活工程]]'''（activation engineering）：不改动模型权重，而是在一次前向传播中对模型中间层的[[残差流]]激活进行加性[[干预]]，从而改变生成文本的高层属性（如主题、情感、风格、去毒等）。该方法由论文《Activation Addition: Steering Language Models Without Optimization》提出<ref name="actadd">{{cite journal~~=arXiv~~\|author=Alexander Matt Turner\|title=Activation Addition: Steering Language Models Without Optimization\|year=2024\|url=https://arxiv.org/html/2308.10248v4}}</ref>，强调其'''无需优化'''（no optimization）与'''无需标注数据'''（除[[提示词]]外）即可构造可用的“引导[[向量]]（steering vector）”。	+	'''ActAdd'''（'''Activation Addition'''，中文常译“激活加法”）是一种用于在'''推理时'''（inference-time）控制[[大型语言模型]]（LLM）输出行为的方法，也是研究[[AI可解释性]]的一种手段。ActAdd 属于'''[[激活工程]]'''（activation engineering）：不改动模型权重，而是在一次前向传播中对模型中间层的[[残差流]]激活进行加性[[干预]]，从而改变生成文本的高层属性（如主题、情感、风格、去毒等）。该方法由论文《Activation Addition: Steering Language Models Without Optimization》提出<ref name="actadd">{{cite journal\|author=Alexander Matt Turner\|title=Activation Addition: Steering Language Models Without Optimization\|year=2024\|url=https://arxiv.org/html/2308.10248v4\|journal=arXiv}}</ref>，强调其'''无需优化'''（no optimization）与'''无需标注数据'''（除[[提示词]]外）即可构造可用的“引导[[向量]]（steering vector）”。

	== 概述 ==		== 概述 ==

@@ 第237行： / 第237行： @@
 == 参见 ==
-* 激活工程（activation engineering）[^https://arxiv.org/pdf/2308.10248v4]
+* [[激活工程]]（activation engineering）
-* 受控文本生成（controlled text generation）[^https://arxiv.org/pdf/2308.10248v4]
+* [[受控文本生成]]（controlled text generation）
-* [[强化学习]]人类[[反馈]]（RLHF）[^https://arxiv.org/pdf/2308.10248v4]
+* [[人类反馈强化学习]]（RLHF）
 == 参考文献 ==
 * Alexander Matt Turner 等，《Activation Addition: Steering Language Models Without Optimization》，arXiv:2308.10248v4。[^https://arxiv.org/pdf/2308.10248v4]
 <references />

@@ 第232行： / 第232行： @@
 == 局限性与风险 ==
-* 仍需为 <math>(p_+,p_-)</math>、<math>l</math> 与 <math>c</math> 等进行搜索或调参；大强度注入可能破坏能力或导致输出不稳定。[^https://arxiv.org/pdf/2308.10248v4]
+* 仍需为 <math>(p_+,p_-)</math>、<math>l</math> 与 <math>c</math> 等进行搜索或调参；大强度注入可能破坏能力或导致输出不稳定。
-* 需要访问并修改中间激活，限制了其在纯黑盒商用 API 场景的直接适用性。[^https://arxiv.org/pdf/2308.10248v4]
+* 需要访问并修改中间激活，限制了其在纯黑盒商用 API 场景的直接适用性。
-* 论文在更广泛影响部分指出，该方法也可能被用于诱导不良风格或有害内容，存在滥用风险。[^https://arxiv.org/pdf/2308.10248v4]
+* 论文在更广泛影响部分指出，该方法也可能被用于诱导不良风格或有害内容，存在滥用风险。
 == 参见 ==

@@ 第229行： / 第229行： @@
 == 与[[提示词]]工程的关系 ==
-作者将 ActAdd 与 prompt engineering 对比，指出：[[提示词]]控制是离散的（token 要么出现要么不出现），而 ActAdd 的注入系数 <math>c</math> 可[[连续]]调节；此外，ActAdd 不占用上下文窗口 token（无需长 meta-prompt），从而减少一种控制开销。作者进一步推测 prompting 可能通过将模型条件化到激活空间的某些区域来“激活目标”，而 ActAdd 可视为对这种机制的推广，并可能实现某些[[提示词]]难以实现的控制（详见附录讨论）。[^https://arxiv.org/pdf/2308.10248v4]
+作者将 ActAdd 与 prompt engineering 对比，指出：[[提示词]]控制是离散的（token 要么出现要么不出现），而 ActAdd 的注入系数 <math>c</math> 可[[连续]]调节；此外，ActAdd 不占用上下文窗口 token（无需长 meta-prompt），从而减少一种控制开销。作者进一步推测 prompting 可能通过将模型条件化到激活空间的某些区域来“激活目标”，而 ActAdd 可视为对这种机制的推广，并可能实现某些[[提示词]]难以实现的控制（详见附录讨论）。
 == 局限性与风险 ==

@@ 第226行： / 第226行： @@
 * '''Inference time premium（推理时间溢价）'''：相对推理时间增量比例（Figure 4）。
-[[文件:推理开销vs参数量.png|替代=推理开销vs参数量.png|无|缩略图|448x448像素|图 4：ActAdd 推断速度随模型大小增加的成本，单位以推断时间的百分比增长表示。随着参数数量从 124M 增至 2.7B，成本的关系在数量级上呈下降趋势。]]
+[[文件:推理开销vs参数量.png|替代=推理开销vs参数量.png|无|缩略图|400x400像素|图 4：ActAdd 推断速度随模型大小增加的成本，单位以推断时间的百分比增长表示。随着参数数量从 124M 增至 2.7B，成本的关系在数量级上呈下降趋势。]]
 == 与[[提示词]]工程的关系 ==

@@ 第220行： / 第220行： @@
 * '''<math>P@K</math>（能力保留）'''：ConceptNet（LAMA）常识填空中，正确答案进入 top-<math>K</math> 候选的概率，用于衡量非目标能力是否被破坏（Figure 3）。
-[[File:ActAdd图3.png|400px|left|thumb|图 3：使用 actadd 对 conceptnet 基准测试（petroni 等，2019）进行副作用测试。'p@k' 是正确答案在模型的前 k 个答案中的概率。我们的方法对一系列前 k 值的离目标概率影响极小。]]
+[[File:ActAdd图3.png|无|图 3：使用 actadd 对 conceptnet 基准测试（petroni 等，2019）进行副作用测试。'p@k' 是正确答案在模型的前 k 个答案中的概率。我们的方法对一系列前 k 值的离目标概率影响极小。|缩略图|400x400像素]]
 === Figure 4：推理开销（[[Inference]] time premium）===