3,094
个编辑
更改
跳到导航
跳到搜索
第136行：
第136行： − + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
→Table 4：情感控制（IMDb）
=== Table 4：情感控制（IMDb）===
=== Table 4：情感控制（IMDb）===
在 IMDb 情感控制基准上，作者以“情感翻转成功率（Suc）”为主要目标，并同时报告不流畅度与[[相关性]]。结果显示 ActAdd 在部分[[方向]]（例如负面→正面）表现突出，但也存在与文本质量之间的典型权衡。[^https://arxiv.org/pdf/2308.10248v4]
在 IMDb 情感控制基准上，作者以“情感翻转成功率（Suc）”为主要目标，并同时报告不流畅度与[[相关性]]。结果显示 ActAdd 在部分[[方向]]（例如负面→正面）表现突出，但也存在与文本质量之间的典型权衡。
{| class="wikitable" style="width:100%; text-align:center;"
|+ 表 4：IMDb 情感任务上的结果（随机抽样 n=1000）。Suc = 成功率，即情感分类被改变的概率；Flu =（不）流畅度（困惑度，越低越好）；Rel = 相关性。按惯例，这里的“Fluency”指不流畅度（越低越好）。OPT 为 6.7B 参数，LLaMA-3 为 8B 参数。**加粗**表示相对第二名有统计显著性（p < 0.05）。灰色文字表示引用自 Pei 等（2023）报告的数值。<u>下划线</u>表示“最佳引导结果”。在所有 steering 方法下流畅度都会变差；ActAdd 约变差 1.5–3 倍，PREADD 约变差 7 倍。[^https://arxiv.org/pdf/2308.10248v4]
! rowspan="2" | 控制（Control）
! rowspan="2" | 方法（Method）
! colspan="3" | 正向 → 负向（positive to negative）
! colspan="3" | 负向 → 正向（negative to positive）
|-
! 成功率（Suc）↑
! （不）流畅度（Flu）↓
! 相关性（Rel）↑
! 成功率（Suc）↑
! （不）流畅度（Flu）↓
! 相关性（Rel）↑
|-
| 引导向量（Steering vector）
| ActAdd-OPT
| 0.432
| 24.2
| <u>0.387</u>
| 0.564
| 20.95
| <u>0.363</u>
|-
| 引导向量（Steering vector）
| ActAdd-LLaMA3
| 0.268
| <u>8.6</u>
| 0.354
| '''0.669'''
| 15.2
| 0.275
|-
| 未引导（Unsteered）
| OPT
| 0.175
| 8.95
| 0.430
| 0.445
| 9.38
| 0.423
|-
| 未引导（Unsteered）
| LLaMA3
| 0.138
| '''5.8'''
| '''0.437'''
| 0.417
| '''6.09'''
| '''0.426'''
|-
| 提示词（Prompting）
| OPT
| 0.307
| 53.5
| 0.298
| 0.365
| 50.9
| 0.287
|-
| 受控生成（Controlled gen）
| FUDGE k=100
| 0.532
| 25.1
| 0.311
| 0.551
| 22.7
| 0.320
|-
| 对比解码（Contrast decoding）
| PREADD-S-OPT
| <u>0.631</u>
| 68.4
| 0.253
| 0.624
| 67.1
| 0.258
|}
=== Figure 3：非目标能力保留（ConceptNet 的 <math>P@K</math>）===
=== Figure 3：非目标能力保留（ConceptNet 的 <math>P@K</math>）===