OW-DLN:一种用于织物缺陷检测的新型开放世界解耦学习网络

时间:2026年1月20日
来源:Pattern Recognition

编辑推荐:

本文提出开放世界织物缺陷检测框架OW-DLN,通过生成式图像重建与解耦增量学习实现已知和未知缺陷的联合检测,采用Mask-Free Inpainting增强语义特征,Dual-View Pseudo-label Generator提升伪标签可靠性,Decoupled Incremental Learning模块抑制灾难性遗忘,在Tianchi等数据集上达到未知召回率0.156和mAP@50 0.510,优于现有方法。

广告
   X   

叶青明|侯珏|杨阳|薛家禾|刘正
浙江科技大学国际教育学院,中国杭州310018

摘要

织物缺陷检测在纺织制造中起着关键作用;然而,传统方法由于依赖于预定义的缺陷类别,在识别未见过的缺陷方面存在固有的局限性。为了解决这个问题,我们提出了OW-DLN,这是一个开放世界的织物缺陷检测网络,它通过结合生成式重建和针对已知及未知缺陷的解耦特征学习,实现了有效的检测和增量学习。该框架由三个组件组成:无掩模修复(MFI)模块,该模块将带有缺陷的图像重建为无缺陷的图像表示,从而指导语义特征学习;双视图伪标签生成器(DVPG)模块,该模块生成更可靠的伪标签,减少了未知样本的遗漏,并使模型能够更好地捕捉未知缺陷的特征;以及解耦增量学习(DIL)模块,该模块分离已知和未知缺陷的特征学习,有效缓解了灾难性遗忘现象。在Tianchi基准测试集和自收集的织物缺陷数据集上的广泛实验表明,OW-DLN在开放世界和增量学习环境中的性能优于现有的OWOD方法和传统的织物缺陷检测方法,分别在未知缺陷召回率和mAP@50指标上达到了0.156和0.510。

引言

缺陷检测在织物制造过程中起着基础性作用,将计算机视觉技术应用于织物检测引起了广泛关注。由于缺陷类型的多样性和缺陷区域之间的高视觉相似性,可靠缺陷检测的难度和成本显著增加[1]。传统的织物缺陷检测算法(如阈值处理、边缘检测和纹理分析)在现实应用中的鲁棒性通常有限。这些局限性源于它们对光照变化、背景噪声以及织物固有纹理复杂性的敏感性[2]。近年来,通过应用深度学习模型(特别是卷积神经网络(CNN)和基于Transformer的模型),在织物缺陷检测方面取得了显著进展,这些模型利用了大规模的标记数据集[3]。然而,这些方法通常难以处理训练数据中不存在的缺陷类别,这暴露了它们在泛化到之前未见过的模式方面的根本局限性。因此,它们经常无法识别在动态生产条件下可能出现的新缺陷或未知缺陷[3]。
与封闭世界检测流程相比,开放世界对象检测方法被开发出来以提高检测模型的泛化能力。具体来说,开放世界检测方法引入了包括未知对象感知和增量学习在内的机制,以识别新颖和稀有的对象[4]。尽管开放世界方法在实际应用中具有显著潜力,但其在织物缺陷检测中的实际部署仍面临以下挑战:(1)织物的表面有纹理,导致缺陷与背景之间的对比度较低,使得可靠的缺陷定位特别困难。因此,在对少量新缺陷进行增量训练时,大量缺陷无法自动标注,从而导致开放世界检测模型的识别准确性降低。(2)不同缺陷类别的视觉特征不够明显,导致未知类别和已知类别之间的混淆,加剧了灾难性遗忘现象。
在实际的纺织制造中,缺陷类型识别主要用于质量检查和产品筛选。新缺陷的不断出现以及数据标注的难度促使人们开发出一种开放世界的解决方案,这种方案能够主动发现之前未见过的缺陷类型,并在不会降低已知缺陷检测性能的情况下逐步学习这些类型。为了解决这些挑战,我们提出了开放世界解耦学习网络(OW-DLN),这是一个旨在应对这些挑战的新框架。本研究明确将织物缺陷检测视为开放世界对象检测(OWOD)问题。其目标有两个:(i)在测试过程中识别之前未被发现的缺陷;(ii)在保持对已知类别检测准确性的同时,逐步学习这些新类别。为了实现这些目标,OW-DLN结合了四个协同工作的模块:无掩模修复(MFI)模块通过重建残差来识别未知线索;双视图伪标签生成器(DVPG)为未知样本生成可靠的伪标签;解耦增量学习(DIL)模块在类别扩展过程中缓解灾难性遗忘,其中增量学习表示检测器对新缺陷类别的持续适应,而无需从头开始重新训练或忘记已知类别,从而确保在动态工业环境中的性能一致性;以及缺陷感知注意力模块(DAAM)增强以缺陷为中心的特征学习。本研究的主要贡献如下:
  • 1.
    提出了一种基于生成模型的方案,旨在生成逼真的无缺陷图像,以增加伪标签的模式多样性和覆盖范围。
  • 2.
    引入了一种解耦的增量学习策略和网络结构,以分离已知和未知缺陷类别的特征学习,从而在类别扩展过程中缓解灾难性遗忘。
  • 3.
    我们提出了OW-DLN,这是一个统一的开放世界织物缺陷检测框架,在开放世界和传统的封闭世界环境中均实现了最先进的性能。具体而言,OW-DLN在开放世界检测任务中的未知缺陷召回率为0.153,mAP@50为0.680;在全类别设置中的mAP@50为0.502。
  • 部分摘录

    织物缺陷检测

    神经网络,尤其是深度学习模型,已经彻底改变了各个行业的缺陷检测方式。传统的图像处理技术在背景噪声、纹理变化和不一致的光照条件下表现不佳。为了克服这些限制,研究人员越来越多地转向深度学习来进行自动缺陷识别,近年来深度学习方法在织物缺陷检测方面取得了显著成功[5]。

    提出的方法

    我们的方法包括三个组件:无掩模修复(MFI)、双视图伪标签生成器(DVPG)和解耦增量学习(DIL),如图1所示。在这个框架中,MFI重建无缺陷的织物表示,以突出潜在的异常;同时DVPG生成更可靠的伪标签;DIL促进模型对未知缺陷类别的增量学习,同时保留对已知类别的知识。

    数据集

    我们在Tianchi织物缺陷数据集[25]上评估了OW-DLN,该数据集包含9,523张图像,涵盖34种缺陷类别。根据官方指南[25],将具有相似原因或视觉模式的缺陷类别合并为20个统一的类别,如图8所示。该数据集及其详细描述可在Tianchi网站上公开获取2。为了真实模拟工业开放世界场景——其中只有一部分缺陷...

    结论

    在这项研究中,我们提出了OW-DLN,这是一种新颖的开放世界织物缺陷检测框架,能够在动态工业环境中有效处理已知和未知的缺陷类别。OW-DLN通过结合生成式纹理重建和缺陷感知的增量识别,实现了开放世界缺陷检测,使系统能够可靠地定位和扩展到之前未见过的缺陷类型。通过集成潜在引导重建、双视图伪标签生成器和解耦...

    未引用的参考文献

    缺少参考文献:图9、图10

    CRediT作者贡献声明

    叶青明:撰写 – 审稿与编辑,撰写 – 原始草稿,软件开发,方法论,调查,形式分析。侯珏:撰写 – 审稿与编辑,撰写 – 原始草稿,项目管理,方法论,形式分析,概念化。杨阳:调查,数据整理。薛家禾:可视化,验证,概念化。刘正:监督,资金获取。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有