随着全球海洋资源开发的持续增长和战略安全需求的增加,自主水下航行器(AUV)在深海探索、海底资源勘探、环境监测和海洋防御等关键任务中发挥着不可替代的作用[1]、[2]。作为AUV推进系统的核心部件,螺旋桨的健康状况直接关系到整个车辆的运动性能、任务完成效率和操作安全性[3]。然而,复杂的海洋环境对螺旋桨的稳定性构成了严重挑战:高压、高腐蚀性的海水、空化效应以及海洋生物污损都可能导致各种故障模式,包括裂纹扩展、叶片断裂和性能下降[4]、[5]。螺旋桨故障已成为AUV任务中断和设备损坏的主要原因之一,严重威胁到深海任务的可靠性和成本效益[6]。因此,开发高度可靠的螺旋桨故障诊断系统是确保海洋设备操作安全和任务稳定执行的关键技术要求[6]。
目前的水下螺旋桨故障诊断已经朝着智能化方法发展,但单一模态方法仍然存在根本性局限。基于声学、振动、电学(电机电流特征分析,MCSA)和光学传感的模态方法都容易受到环境退化的影响:海洋噪声和干扰会破坏声学和振动信号[7]、[8]、[9],微弱的初始故障在当前特征中难以被检测到[10]、[11]、[12],而浑浊或低光照会降低视觉感知能力[13]。因此,依赖单一传感源使得诊断系统在复杂的水下环境中变得脆弱,一旦主要信号退化,整体性能会显著下降。
然而,这些特定于模态的脆弱性也揭示了它们之间的自然互补性:光学成像能够提供高空间分辨率,用于捕捉表面结构缺陷(裂纹、叶片损伤、生物污损),而电学测量(电机电流特征)则反映了在视觉退化情况下仍然存在的内部负载和阻抗变化。关键的是,它们的故障模式是互补的:当水浑浊或光照不足影响光学质量时,电信号相对稳定;相反,如轻微缠结或早期污损等初始故障会在引发可检测的电学异常之前通过视觉表现出来。受到这种协同作用和实际部署可行性的启发(非侵入式传感、低成本硬件),本研究专注于光-电融合作为稳健水下故障诊断的典型案例。这种“结构-能量”双重传感路径非常适合在多样且极端的水下环境中实现可靠的故障感知。
为了利用这种互补性,多模态融合已成为整合异构信息源的有前景的方法。该领域已经从早期的串联或简单加权[14]、[15],发展到通过注意力机制[16]、[17],再到最近通过不确定性建模的质量感知方法[18]、[19]、[20]。同时,基于残差 的故障检测技术,特别是总可测量故障信息残差(ToMFIR)[21]、[22],在捕捉旨在减轻控制动作影响的必要故障特征方面显示出有效性。然而,当前的方法(包括基于融合和基于残差的方法)存在三个关键局限性:(i)可靠性是从潜在特征或残差模式中隐式推断出来的,而不是通过显式的物理质量指标;(ii)仅考虑了主观模型不确定性,忽略了环境驱动的模态退化;(iii)在模态缺失或极端损坏情况下,鲁棒性仍然不足。值得注意的是,虽然ToMFIR在单模态系统中通过残差监测检测故障方面表现出色,但它没有解决如何在变化的环境质量下动态评估和融合多个异构传感源的问题——本文旨在通过显式可靠性控制的融合来填补这一空白。因此,需要一个结合客观物理评估和主观置信度估计的二维可靠性机制来克服这些局限性。
基于上述分析,本文提出了多模态融合的一个范式转变:不仅仅是如何融合,关键在于何时以及在多大程度上信任每种模态。为此,我们引入了质量感知条件模态门控注意力网络(QACMANet),它将可靠性从特征学习的隐含副产品提升为显式的控制信号。与传统方法不同,传统方法将模态视为同等可靠,并且注意力机制仅从潜在表示中推断重要性,而QACMANet采用二维评估:外部物理信息的质量指标独立于分类器评估光学流的完整性,而内部预测不确定性量化模型置信度。这些互补的线索被综合成样本级的信任分数,动态调节融合权重:在清洁条件下,光学特征占主导地位,用于精细的结构分析;而在由于浑浊或遮挡导致视觉质量下降时,电学测量优先。这种由可靠性控制的机制实现了在不同环境条件下的稳健性能。
本文的主要贡献包括:
- (1)
提出质量感知多模态融合框架QACMANet,通过动态和显式的可靠性评估显著提高了故障诊断的环境鲁棒性;
- (2)
设计质量感知门控单元(QAGU),它引入了一种创新的双维可靠性评估机制,将外部客观质量与内部主观不确定性相结合;
- (3)
构建并公开发布了一个新的AUV螺旋桨多模态故障诊断基准数据集,该数据集提供了精确时间对齐的光学和电学数据,并涵盖了各种典型的故障类型,以促进该领域的公平和可重复研究;
- (4)
在一个包含11种典型环境退化场景的具有挑战性的多模态数据集上进行了广泛的比较实验和严格的消融研究,系统地验证了所提出方法的有效性和优越性。
本文的其余部分组织如下:第2节详细介绍了提出的QACMANet架构。第3节介绍了实验验证和性能分析。最后,第4节总结了本文并讨论了未来的工作。