基于CLIP的特征消歧与跨模态协同作用在少样本语义分割中的应用

本文提出基于CLIP的FDCMNet，通过对比前景与背景原型消除特征混淆，并采用动态门控跨模态融合提升文本指导适应性，在PASCAL-5i和COCO-20i数据集上达到SOTA性能。

陈尚静|徐峰|刘欣|王大发|李欣

中国南京河海大学计算机科学与软件工程学院，211100

摘要

少样本语义分割旨在利用有限的标注信息对新颖对象进行分割，但面临着由于类内多样性和类间相似性导致的特征表示模糊的挑战。虽然现有方法结合了CLIP进行跨模态指导，但这些方法往往忽略了两个关键限制。首先，由于CLIP视觉编码器不仅编码了局部外观，还编码了整个图像的全局上下文，前景和背景区域在视觉表示中可能会显示出相似的反应。其次，静态文本提示无法动态模拟视觉内容与文本之间的实际场景交互，从而导致分割任务的指导效果不佳。为了解决这些问题，我们提出了CLIP驱动的特征消歧和跨模态协同网络（FDCMNet）。针对粗粒度语义的模糊性，我们设计了一个对比特征解耦模块（CFD），该模块通过对比CLIP的查询特征和支持嵌入之间的像素级相关性来明确区分前景和背景。为了改进文本提示的跨模态指导，我们开发了一个上下文感知的跨模态融合模块（CACM），该模块动态对齐全局图像级和局部像素级的视觉特征与文本嵌入。通过整合场景语义和视觉特征的结构细节，它克服了固定提示的局限性，实现了视觉和文本模态之间的自适应对齐。广泛的实验表明，我们的方法在PASCAL-5i和COCO-20i数据集上取得了最先进的性能。我们的代码将在https://github.com/hhu-csj/FDCMNet上提供。

引言

语义分割（Huang, Wang, Huang, Huang, Wei, Liu, 2019; Lin, Milan, Shen, Reid, 2017; Long, Shelhamer, Darrell, 2015）是计算机视觉中的一个基本任务。深度学习的进步推动了分割模型的显著进展，最先进的方法在完全标注的基准数据集上表现出卓越的性能。然而，这些模型的实际应用由于依赖于大量的标注数据而受到很大限制。少样本语义分割（FSS）（Shaban, Bansal, Liu, Essa, & Boots, 2017）作为少样本学习（Vinyals et al., 2016）范式的扩展，通过利用有限的标注样本来解决这些挑战，使模型能够对新颖类别进行分割。

为了解决少样本语义分割中的类内多样性和类间相似性问题，现有方法主要沿着两个方法路径发展：基于原型的表示学习和特征匹配范式。基于原型的方法（Lang, Cheng, Tu, Li, Han, 2023; Liu, Zhang, Lin, Liu, 2020; Liu, Liu, Cao, Yao, Han, Shao, 2022; Peng, Tian, Wu, Wang, Liu, Su, Jia, 2023）通常通过支持特征聚合来派生特定类别的表示，然后通过原型引导的相似性度量来指导查询图像的分割。基于特征匹配的方法（Chen, Dong, Lu, Yu, Han, 2024a; Chen, Gao, Lu, Xue, Wang, Liao, 2022b; Min, Kang, Cho, 2021; Shen, Kuang, Wang, Wang, Feng, Zhang, 2024）优先优化支持特征和查询特征之间的交互。尽管这两种范式都取得了显著进展，但它们在复杂场景中的鲁棒性仍然受到基本编码器有限表示能力的限制，特别是在处理细粒度结构或在数据极度稀缺的情况下处理遮挡对象时。

最近，提出了一些基于CLIP的FSS方法，旨在利用CLIP丰富的视觉-语言知识来提高少样本分割性能。这些方法主要遵循三种研究策略：（1）通过基于CLIP的视觉-文本对齐生成特定类别的先验或原型（Wang, Zhang, Pang, Chen, & Liu, 2024）；（2）优化跨模态特征交互以将语义线索从文本传递到视觉（Wang et al., 2023a）；（3）引入无需训练或弱监督的范式，利用CLIP的零样本能力来减少对标注的依赖（Chen, Meng, Zhang, Qiu, Li, Wu, Xu, 2024b; Jeong, Zou, Kim, Zhang, Ravichandran, Dabeer, 2023）。虽然这些方法有效地利用了CLIP的语义知识来增强原型区分能力，但它们仍然忽略了两个重要方面。首先，CLIP并不生成严格定位的对象响应。由于CLIP视觉编码器是在图像级别优化的，并以图像-文本对比为目标，因此它倾向于捕捉整体场景语义而不是精确的像素级掩码。结果，它往往会同时激活目标对象及其频繁共现的背景，因此前景和背景区域可能会显示出相似的激活模式，从而为查询分割提供误导性的指导。其次，大多数方法依赖于静态文本提示，这些提示无法适应特定于图像的上下文，限制了它们提供准确跨模态指导的能力。如图1(a)所示，当我们可视化基于CLIP的目标类别响应时，不仅前景对象，而且与背景相关联的区域也会被强烈激活。在这种情况下，每个补丁令牌在经过多层自注意力处理后，不仅编码了其自身的局部外观，还编码了来自整个图像的全局上下文信息，因此与目标类别在语义或上下文上相关的背景补丁可能会显示出与真实前景补丁相似的响应。而且图像中显示的类别特征是具体且生动的，固定的文本提示对于图像匹配来说是不准确的。如图1(b)所示，普遍采用的固定文本提示（例如，{class}的照片）未能充分利用CLIP固有的语义约束特征学习能力，特别是错过了通过多样化文本嵌入进行精确分类属性编码的机会。因此，为了解决CLIP视觉特征中前景和背景区域的相似响应以及文本指导的静态性质，我们的研究旨在构建一个统一的框架，以增强前景-背景区分能力，并使文本指导适应输入图像。

基于这一动机，我们提出了一个新颖的框架——CLIP驱动的特征消歧和跨模态协同网络（FDCMNet），该框架强调了提高前景-背景区分能力和提供图像自适应跨模态语义指导的双重目标。首先，如图1(a)所示，虽然CLIP的图像编码器提供了有价值的语义先验，但其直接应用需要明确的前景-背景分离，以便从噪声表示中分离出区分性特征。其次，有效的文本指导需要将特定于图像的内容与文本嵌入进行上下文感知的融合，而不是使用静态模板提示，如图1(b)所示。我们的方法引入了两个创新模块来解决前景-背景的模糊性并增强语义-文本对齐。我们提出了对比特征解耦（CFD）模块，该模块通过构建前景和背景原型并在查询特征上对比它们的相似性图来减轻前景-背景混淆并抑制语义相关背景区域中的虚假响应。它通过减法计算查询特征与前景-背景原型之间的像素级相似性差异，有效抑制了不相关区域，同时增强了目标特定的响应。而上下文感知的跨模态融合模块（CACM）通过门控跨注意力机制动态地将图像内容与文本嵌入相结合，实现了精确的跨模态对齐。这项工作的主要贡献总结如下：

1. 我们提出了一种新颖的少样本语义分割方法，该方法有效地利用了CLIP的多模态语义先验，利用预训练的视觉-语言对齐来弥合低数据场景中稀疏标注和丰富上下文理解之间的差距。
2. 我们设计了CFD模块，通过明确对比来自CLIP的前景和背景原型来消除模糊区域。
3. 我们提出了CACM模块，通过门控机制和跨注意力层次化地对齐视觉和文本特征，确保精确的语义指导。
4. 广泛的实验表明，我们的方法在PASCAL-5i和COCO-20i数据集上取得了最先进的性能。

小节片段

少样本学习

少样本学习（FSL）旨在使模型能够仅使用一组稀疏的标注样本来泛化到新颖类别，从而解决数据收集和标注不可行的场景。FSL领域的大多数现有方法遵循元学习（Vinyals et al., 2016）框架，从基础数据集中采样一组学习任务来模拟少样本场景并促进泛化。当前的FSL方法大致分为

问题定义

少样本分割旨在仅使用有限的标注样本来分割新颖的对象类别。形式上，该任务在两个不相交的类别集下进行操作，基础类别C_base用于训练，新颖类别C_novel用于测试，其中$C_{b\mathrm{as}\mathrm{es}}\cap C_{n\mathrm{ovel}\mathrm{el}}=\varnothing$。学习通过情节驱动的范式进行，每个情节包含一个支持集$S={(I_s,M_s)}_{}$，其中k表示目标类别c的一对图像和掩码，$I_{}\in R^{H\times W\times 3}$表示RGB图像，M_s∈{0, 1}^{H×W表示像素级标注。查询集$Q=I_{}$}

实验

本节通过全面的实验评估了所提出的网络。我们首先详细介绍了实验设置，包括数据集、评估指标和实现细节。接下来，我们将我们的方法与1-shot和5-shot下的SOTA方法进行了比较。然后，我们进行了广泛的消融研究，分析了每个提出模块的贡献、关键内部组件的设计、超参数选择以及对不同CLIP骨干的敏感性。

结论

在本文中，我们提出了FDCMNet，这是一种解决少样本语义分割中类内多样性和类间相似性关键挑战的新方法。与主要依赖CLIP视觉编码器特征和跨模态指导的先前基于CLIP的分割方法不同，我们的方法引入了两项关键创新来克服它们的局限性。我们设计了CFD模块来纠正CLIP深度特征中对错误区域的错误关注。

CRediT作者贡献声明

陈尚静：写作——审阅与编辑、概念化、方法论、软件、验证、调查、原始草稿撰写、数据整理。徐峰：监督、项目管理、资金获取、写作——审阅与编辑、资源准备。刘欣：调查。王大发：调查。李欣：调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。