流畅的合成文本不等于有用证据
论文针对的是一个特定场景:训练时只有少量带标签样本,评估则遵循固定不变的测试协议。这一设定来自现实需求。人工事实核查成本高且存在歧义,新兴话题和领域又很少被现有基准覆盖,因此检测器无法指望拥有大规模、匹配良好的标注语料。
作者认为,现有数据增强路线在这一场景下有共同弱点。同义词替换、生成对抗网络和基于大语言模型的生成都能产出语法正确、表达流畅的样本,但内容往往过于泛化。它们缺少区分真假新闻所需的任务相关性,因为欺骗性的文体模式和细微语言线索,恰恰容易被通用改写抹平。
第二个缺口与时机有关。多数增强方法不考虑训练过程中检测器当前薄弱的位置,因此合成数据未必落在模型不确定或容易出错的输入区域。SharP 同时针对这两个缺口设计:让生成对齐任务,并把生成引向分类器的不确定区域。
硬提示约束任务,软提示适配数据
SharP 的双提示机制把引导工作拆成两部分。硬提示是一组离散的指令词元,提供结构化引导和事实约束。软提示是一个可学习的连续前缀,引入从数据中学到的语义模式。在实现中,输入文本先与硬提示拼接,软提示向量再被加到拼接后的嵌入上,随后大语言模型输出隐藏表示并解码生成文本。
这种分工之所以重要,是因为两部分失效的方式不同。只有硬提示可以指明任务,却无法适配特定数据集的风格。只有软提示可以拟合数据,却没有明确指令告诉生成器必须保留什么。两者结合后,生成器既能锚定在新闻领域,又能向分类器实际看到的模式靠拢。
论文把大语言模型当作经过适配、用来产出任务相关合成样本的工具,而不是通用改写器。每个生成样本继承源样本的标签,因此增强扩充了带标签样本池,却不引入新的标签判断。
不确定性决定哪些样本值得生成
SharP 以迭代式主动学习循环运行。每一轮中,分类器为无标签样本打分,预测熵衡量其不确定程度。熵由两个类别的后验概率计算,熵达到或超过阈值的样本构成边界样本集。这些样本会被查询标签,来源可以是人工标注者,也可以是辅助标注模型,随后送入增强模块。
分类器本身融合两路特征。一路用卷积神经网络处理 BERT 词嵌入,得到词级文本表示;另一路用双向门控循环单元处理情感特征,捕捉情感流向;两者通过逐元素相乘融合。情感特征来自五类词典,包括 8 个 NRC 情感特征、2 个情绪特征、10 个道德特征、2 个意象性特征,以及约 350 个夸张词。
增强集由查询批次生成,带标签样本池同时加入查询到的原始样本及其合成对应样本。这正是边界聚焦并非装饰的原因:合成样本恰好产生在当前分类器最不自信的位置,作者将其描述为有助于厘清真假内容之间的细微差别。
两个目标平衡源数据保真与分类器反馈
预训练阶段,软提示通过一个奖励语义对齐的目标来学习:原始输入的特征表示与生成输出的特征表示之间的余弦相似度,再加上一个正则项。这使生成文本贴近源数据,而不是漂移到无关内容。
微调阶段,目标变成两个损失的加权和。第一个仍是相同的对齐损失。第二个是分类器对生成输出的打分与目标分数之间的平方误差,推动生成朝向有助于细化决策边界的样本。两个损失的权重可以调节,论文报告称,只使用单一损失的模型在三种样本条件下都劣于同时使用两个损失的模型。
作者的解释是,这种双目标产生的样本既与领域一致,又有助于锐化决策边界。这是关于设计思路的论断,由类似消融的对比支持,并不是对每个生成句子质量的单独测量。
提示选择与生成数量改变增益大小
敏感性分析在 5%、10%、30% 和 50% 四种训练数据比例下评估超参数。硬提示类别在训练数据少时影响最大:训练集较大时各类别差异很小,但在小数据条件下,某些类别表现明显更差。作者推测分类器偏好特定文本风格,并指出语气更具攻击性的提示优于更陈述式的提示,原因可能是假新闻常使用煽动性风格。使用更简单直接表达的硬提示 1 在多数设置下取得最佳或并列最佳准确率,因此成为默认选择。
软提示长度呈现倒转模式:随着初始化长度增加,性能先提升,达到峰值后下降。作者将下降归因于过长的软提示在拼接输入中占据较大比例,妨碍模型理解任务目标。
生成文本数量表现类似,先短暂上升至峰值,随后持续下降。训练数据较少时峰值出现得更晚,作者的解释是数据稀缺时增加多样性帮助更大,而数据充足后过多语义相似的增强文本反而有害。
证据支持什么,又止步于哪里
论文的核心主张是:双提示引导、边界感知的增强通过提供保留原始标签的多样高质量样本,在低资源设置下提升检测精确率和整体分类准确率。报告的支持来自论文所述固定测试协议下的实验,以及覆盖四种训练数据比例的超参数分析。
适用范围已写入设计之中。该方法假设查询到的样本能够获得标签,无论来自标注者还是辅助标注模型,也假设分类器的熵是定位边界的可用信号。增强样本继承源标签,因此查询批次中的标签噪声会传播到合成样本。作者还把框架定位为模型无关、可适配多种大语言模型架构,并将扩展到其他文本分类任务、多语言数据、分布偏移和多模态输入列为未来工作,而非已展示的结果。
由此得出的实际优先级是一种比较关系,而不是笼统建议。标注数据非常稀缺时,硬提示类别的选择和生成样本数量足以改变准确率,而且数据越少,生成数量的峰值出现得越晚。因此,SharP 的优势最好理解为:需要把这两个旋钮按资源水平调好,同时保留双目标,而不是退化为单一损失。
本文引用的文献
SharP: Soft and hard prompt-guided augmentation with LLM for low resource fake news detection
SharP 将固定硬提示与可学习软提示结合,并把大语言模型生成引向分类器不确定的样本,报告在固定测试协议下的低资源假新闻检测中提升了精确率和准确率。
