在人工智能加速融入现实世界的今天，视觉-语言模型（Vision-Language Models, VLMs）如CLIP（Contrastive Language–Image Pretraining）正日益广泛地应用于内容审核、虚假信息检测和欺诈分析等安全关键领域。这些模型能够同时理解图像和文本，完成复杂的跨模态任务。然而，随着应用的深入，其安全性问题也愈发凸显。一个核心挑战是：模型能否抵御精心设计的对抗攻击？攻击者可能通过对输入施加人眼难以察觉的微小扰动，就能轻易“愚弄”模型，使其做出错误判断，这在实际应用中可能导致严重后果，甚至危及系统信任。尽管对抗鲁棒性在单模态（如图像或文本）模型中已得到广泛研究，但对于像CLIP这样的多模态模型，其内部的不同“感官”——视觉编码器和语言编码器——在面对攻击时，谁更“脆弱”？两者的脆弱性是否存在差异？这一问题尚未得到充分探索。现有的防御方法多针对单一模态设计，未能考虑多模态模型中各组件可能存在的非对称脆弱性。为了填补这一研究空白，并为核心问题“在结构化扰动系统下，CLIP的哪个模态对抗性更脆弱？”寻找答案，Maisha Binte Rashid和Pablo Rivas开展了一项系统的实证研究。
为回答上述问题，研究人员主要采用了以下关键技术方法：首先，构建了包含两个真实世界多模态分类任务的数据集体系，即Facebook Hateful Memes（仇恨迷因）数据集和通过基于图的标注方法构建的大规模Suspicious Car Parts（可疑汽车零件）数据集。其次，在CLIP（ViT-B/32架构）模型上，系统应用了基于梯度的对抗攻击方法，包括快速梯度符号法（Fast Gradient Sign Method, FGSM）和投影梯度下降法（Projected Gradient Descent, PGD），并针对视觉模态、语言模态以及双模态联合三种不同场景分别进行攻击测试。最后，为了深入探究各模态对鲁棒性的独立贡献，研究者引入了一种创新的选择性冻结对抗训练协议，在重训练过程中交替冻结视觉和语言编码器，从而评估不同防御策略的有效性。
攻击设置与性能评估
研究对干净模型以及在各种对抗训练策略下微调后的模型进行了评估。评估指标包括在干净测试集上的准确率（衡量模型原始性能）和在受攻击测试集上的鲁棒准确率（衡量模型抵抗攻击的能力）。实验涵盖了单一模态攻击（仅攻击图像或文本）和联合攻击（同时攻击两个模态）。
视觉模态是CLIP的主要漏洞
实验的核心发现是明确的：无论在Hateful Memes数据集还是Suspicious Car Parts数据集上，也无论使用FGSM还是PGD攻击方法，对图像模态施加对抗扰动始终导致最严重和最不稳定的性能下降 。与仅攻击文本或联合攻击相比，仅攻击图像能使模型准确率下降更多。这一结果表明，在CLIP模型中，视觉编码器是比语言编码器更脆弱的部分 ，构成了多模态系统中的“阿喀琉斯之踵”。
对抗训练与模态特异性防御
研究进一步评估了多种对抗训练策略。传统的“全模型”对抗训练（同时用对抗样本更新所有参数）能提升鲁棒性，但计算成本高。相比之下，选择性编码器冻结策略 展现出独特优势。具体而言，在对抗训练期间仅冻结视觉编码器 （即只更新语言编码器和分类头）所获得的模型，与全模型对抗训练相比，能达到相当甚至更好的鲁棒性，同时计算开销更低。这反过来证实了视觉模态是关键瓶颈，针对性地强化视觉编码器的防御策略更为高效。
研究结论与讨论
本研究通过系统的实证分析，明确指出在CLIP模型中，视觉模态是其对抗脆弱性的主要来源 。这一发现在两个不同的多模态分类数据集和两种主流梯度攻击方法上均保持一致，具有普遍意义。它揭示了多模态系统内部可能存在的不平衡的鲁棒性特征。
该研究的重要意义 在于为构建更鲁棒的视觉-语言模型提供了清晰的实践路径。它表明，“一刀切”的全模型防御可能不是最高效的选择 。相反，采用模态感知的防御策略 ，将防御资源重点投入到更脆弱的视觉模态上，能够以更低的计算成本实现更具竞争力的鲁棒性。这对于计算资源有限的现实世界应用（如边缘设备部署）尤为重要。这项工作不仅增进了对多模态模型对抗行为的基础理解，也为设计下一代安全、可信的跨模态人工智能系统提供了关键见解。
打赏
