3,094
个编辑
更改
无编辑摘要
== 实验结果摘要（按图表组织） ==
== 实验结果摘要（按图表组织） ==
=== Table 3：去毒（RealToxicityPrompts）===
作者在 RealToxicityPrompts 上报告 ActAdd 与多类基线方法的对比，并用 Toxicity、(Dis)Fluency、Relevance 三指标衡量“毒性降低”与“质量/[[相关性]]代价”的权衡。ActAdd 在 OPT 与 LLaMA-3 上均报告了毒性下降，同时保持较低的质量损失。
=== Table 3：去毒（RealToxicityPrompts）===
=== Table 3：去毒（RealToxicityPrompts）===
作者在 RealToxicityPrompts 上报告 ActAdd 与多类基线方法的对比，并用 Toxicity、(Dis)Fluency、Relevance 三指标衡量“毒性降低”与“质量/[[相关性]]代价”的权衡。ActAdd 在 OPT 与 LLaMA-3 上均报告了毒性下降，同时保持较低的质量损失。
作者在 RealToxicityPrompts 上报告 ActAdd 与多类基线方法的对比，并用 Toxicity、(Dis)Fluency、Relevance 三指标衡量“毒性降低”与“质量/[[相关性]]代价”的权衡。ActAdd 在 OPT 与 LLaMA-3 上均报告了毒性下降，同时保持较低的质量损失。
* '''Toxicity（毒性）'''：用于去毒任务，使用 Perspective API 对生成文本打分，越低越好（Table 3）。[^https://arxiv.org/pdf/2308.10248v4]
{| class="wikitable" style="width:100%; text-align:center;"
* '''(Dis)Fluency（不流畅度）'''：以条件困惑度等作为流畅度代理，越低越好（Table 3、Table 4）。[^https://arxiv.org/pdf/2308.10248v4]
|+ 表 3：RealToxicityPrompts 上的结果（随机抽样 n=1000）。使用的 OPT 为 6.7B 参数，LLaMA-3 为 8B。**加粗**表示相对于第二名在统计上显著（p < 0.05）。灰色文字表示引用自 Pei 等（2023，PREADD）与 Zhong 等（2023，Air-Decoding）报告的数值。较新的模型默认毒性更低，但即便如此，用 ActAdd 引导的 OPT 仍优于未引导的 LLaMA-3。[^https://arxiv.org/pdf/2308.10248v4]
* '''Relevance（相关性）'''：用句向量余弦相似度衡量提示词与续写的语义相关性，越高越好（Table 3、Table 4）。[^https://arxiv.org/pdf/2308.10248v4]
! 控制类型（Control Type）
! 方法（Method）
! 毒性（Toxicity）↓
! （不）流畅度（(Dis)Fluency）↓
! 相关性（Relevance）↑
|-
| 引导向量
| ActAdd-OPT
| 0.112
| 13.8
| 0.329
|-
| 引导向量
| '''ActAdd-LLaMA3'''
| '''0.108'''
| 6.7
| 0.365
|-
| 未引导基线
| OPT
| 0.134
| 8.9
| 0.369
|-
| 未引导基线
| LLaMA3
| 0.114
| '''6.3'''
| '''0.391'''
|-
| 提示词（Prompting）
| OPT
| 0.200
| 54.3
| 0.294
|-
| 受控生成（Controlled generation）
| FUDGE（k = 100）
| 0.128
| 22.1
| 0.329
|-
| 对比解码（Contrast decoding）
| PREADD-S-OPT
| 0.134
| 51.7
| 0.290
|-
| 对比解码（Contrast decoding）
| PREADD-D-OPT
| 0.122
| 56.6
| 0.326
|-
| 梯度引导生成（Gradient-guided gen）
| Air-Decoding
| 0.185
| 48.3
| —
|}
基本概念解析：
* '''Toxicity（毒性）'''：用于去毒任务，使用 Perspective API 对生成文本打分，越低越好（Table 3）。
* '''(Dis)Fluency（不流畅度）'''：以条件困惑度等作为流畅度代理，越低越好（Table 3、Table 4）。
* '''Relevance（相关性）'''：用句向量余弦相似度衡量提示词与续写的语义相关性，越高越好（Table 3、Table 4）。
=== Table 4：情感控制（IMDb）===
=== Table 4：情感控制（IMDb）===