基于Mamba-Transformer的深度学习框架，用于红外图像中的光伏故障诊断

时间：2026年3月30日

来源：ADVANCED ENGINEERING INFORMATICS

编辑推荐：

针对无人机红外成像中光伏组件故障分类的挑战，本研究提出基于Mamba-Transformer的MBTR框架，结合跨扫描机制和多层次特征融合模块，有效提升小目标、不规则热点及退化图像的故障检测精度，实验表明在1359张图像数据集上，各项指标较SOTA模型平均提升6.2%-18.7%。

曾伟良|蔡宇涵|范敬民

广东工业大学自动化学院，中国广东省广州市510006

摘要

定期故障诊断对于维持光伏（PV）系统的高效运行至关重要。无人机拍摄的红外图像在光伏故障识别方面显示出巨大潜力。然而，基于红外图像的自动故障分类仍然具有挑战性，这主要是由于目标尺寸小、热点几何形状不规则、空间分布不均匀、图像退化效应、热对比度不足以及光学畸变等原因。本研究提出了一个基于Mamba-Transformer（MBTR）的深度学习框架，该框架结合了交叉扫描机制和多尺度特征细化融合技术，从而在这些条件下提高了光伏故障诊断的准确性。首先，我们提出了一个基于Mamba的骨干网络，其双向交叉扫描与光伏阵列的结构相匹配，能够实现高效的长距离上下文建模，以检测不规则的热点。其次，我们开发了一个改进的基于Transformer的编码器，通过分层特征细化融合（HFRF）模块捕获多尺度特征，并通过注意力机制建立全局空间依赖性，从而增强了对低对比度和小尺寸微妙故障特征的检测能力。第三，我们通过螺旋形卷积增强了红外图像中的下采样特征，有效捕捉了中心热点的特征。最后，我们使用无人机（UAV）收集的1359张热红外（TIR）图像对所提出的模型进行了验证和比较。与16个最先进的模型相比，我们的MBTR模型的平均准确率（mAP）分别提高了9.7%、6.8%、12.8%、18.7%和6.2%。

引言

可再生能源，特别是太阳能光伏（PV）技术，由于其高转换效率和极低的碳排放量，已成为可持续能源发展的关键解决方案，受到了全球的广泛关注[1]、[2]。然而，光伏模块在户外环境中的部署使它们长时间暴露在恶劣的气候条件下，导致各种运行故障，包括电池微裂纹、电路腐蚀和部分遮挡效应。这些退化机制会引发热点形成和热应力，从而降低系统效率和使用寿命[3]。统计分析表明，2024年这类故障导致系统平均功率损失率达到了总安装容量的5.77%[4]。在极端情况下，这些热异常可能导致模块燃烧，从而危及光伏电站的运行安全和可靠性[5]。

通过无人机（UAV）平台获取的热红外（TIR）图像的视觉分析能够在非接触和非侵入式的运行条件下快速准确地检测光伏模块的异常[6]。为了分类光伏故障类型，人们采用了手动特征提取方法从红外图像中提取特征，包括光伏故障形状的面积和周长、灰度共生矩阵以及定向梯度直方图[7]。随后，机器学习（ML）算法如决策树、K-最近邻和支持向量机被用来分类故障，包括热点、过热电池和遮挡效应[8]。然而，这些ML方法无法自动提取特征，因此无法有效处理目标尺寸小、热点几何形状不规则、图像退化效应、热对比度不足以及光学畸变明显的图像。

为了解决上述问题，我们提出了一个基于Mamba-Transformer（MBTR）的深度学习框架，该框架结合了交叉扫描机制和分层特征细化融合技术，能够在这些具有挑战性的条件下自动捕获重要的特征用于光伏故障诊断。所结合的交叉扫描机制允许沿水平和垂直维度进行顺序特征提取，这与光伏阵列的结构排列和故障的空间分布精确对齐。与使用全局注意力计算的常规Transformer不同，基于MBTR的架构对背景区域的关注度较低，从而减少了冗余计算，同时保持了检测精度。主要贡献如下：

(1)
提出了一种基于Mamba-Transformer的架构，用于红外图像中的光伏故障诊断。该模型通过利用Mamba[9]在选择性状态空间建模方面的能力和Transformer[10]在全球上下文表示方面的能力，实现了多尺度特征提取。因此，它能够有效捕获形状不规则且热点区域空间分布分散的故障特征。
(2)
提出了一种基于Mamba的骨干网络，以替代传统的基于CNN的骨干网络，通过长距离建模能力从热点特征图中捕获全局语义信息。此外，视觉Mamba块（VMBlocks）实现了与光伏阵列结构特征相匹配的双向交叉扫描。
(3)
提出了一种改进的Transformer编码器，用于深度感知光伏故障，该编码器通过基于注意力的尺度内特征交互（AIFI）模块、分层特征细化融合（HFRF）模块和跨尺度特征融合模块（CCFM）分别提取长距离特征依赖性、捕获细粒度信息并融合多尺度信息。

本文的其余部分组织如下。第2节介绍了有关光伏故障诊断的相关工作。第3节介绍了我们检测网络的构建。第4节解释了实验并分析了结果。最后，第5节总结了本文的发现和展望。

光伏故障检测和分类技术可以分为两种主要方法：基于电学的方法和基于图像的视觉检测方法[11]、[12]。基于电学的方法通过分析光伏模块、串或阵列的电学特性来识别故障。相比之下，基于图像的视觉方法利用图像识别技术来检测光伏电池的故障，包括裂纹、阴影和表面污染等。

MBTR的架构

所提出的MBTR用于光伏故障分类的架构如图1所示，它包括一个基于Mamba的骨干网络、一个改进的Transformer编码器和一个Transformer解码器。基于Mamba的骨干网络采用了具有SS2D双向交叉扫描的视觉Mamba块（VMBlocks），从长距离建模的角度捕获了热点特征图的语义信息。Transformer编码器通过集成三个关键组件得到了改进：

数据集描述

为了获取高质量的光伏故障样本的热红外（TIR）图像，在中国湛江的Lvlin光伏电站部署了一架配备TIR传感器的DJI Mavic 3 T无人机。在实地考察期间共收集了1359张TIR图像，每张图像的空间分辨率为640 × 512像素。该数据集涵盖了广泛的安装环境，如图8所示：(a)提供了整个光伏电站的概览，展示了大规模的空间布局