一种用于水下图像增强的两阶段条件扩散模型

时间:2026年3月21日
来源:Optics and Lasers in Engineering

编辑推荐:

水下图像增强面临光学衰减导致的颜色失真和细节丢失问题,现有方法存在参数依赖性强、性能不稳定等缺陷。本文提出两阶段条件扩散模型TCDM-UIE,通过初步扩散增强与真实图像监督的迭代优化提升效果,并引入退化适配器处理多样化退化问题。实验表明该方法在多个评估指标上表现优异。

广告
   X   

陈宇航|丁杰|于华龙|杨佳宇
江苏科技大学计算机学院,中国江苏省镇江市,212100

摘要

水下成像通常会因水下光衰减而质量下降,这会导致颜色失真、对比度降低以及细节丢失,从而降低其在水下应用中的实用性。扩散模型在水下图像增强(UIE)中取得了成功应用。然而,它们的性能对噪声估计的准确性非常敏感,这使得难以有效校正水下场景中的颜色偏差。这可能会导致残留的颜色偏差并降低增强效果的质量。为了解决这些问题,提出了一种称为TCDM-UIE的两阶段条件扩散方法。在第一阶段,利用扩散模型的生成能力进行初步增强;在第二阶段,在相应真实数据的监督下对第一阶段的输出进行细化,以进一步丰富颜色并增强细节。此外,我们在扩散网络中引入了一个有效的退化适配器,以更好地处理各种类型的水下退化现象。在公开可用的数据集上进行的广泛实验表明,TCDM-UIE在多个评估指标上取得了具有竞争力的成绩,并表现出很强的泛化能力,从而为水下视觉应用提供了可靠的支持。

引言

获取清晰的水下图像对于多种实际应用至关重要,包括海洋科学探索、海洋考古调查和自主水下航行器(AUV)导航等。然而,水中的悬浮颗粒和溶解物质会导致强烈的光衰减,从而严重降低图像质量,使得水下图像增强(UIE)变得特别具有挑战性。
早期的方法[1]、[2]、[3]、[4]、[5]主要依赖于自然图像的统计特性,并通过数学公式对图像进行处理。这些方法忽略了水下光学特性,常常产生过饱和或欠饱和的结果,从而破坏了不同水下条件下颜色校正的一致性。随后,Jaffe-McGlamery模型[6]因其物理可解释性而受到广泛关注,并激发了大量研究[7]、[8]、[9]、[10]、[11]。尽管这些算法在特定条件下表现良好,但它们依赖于许多难以准确估计的场景依赖参数。基于深度学习的方法[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]为UIE研究开辟了新的途径,因为它们通过学习退化图像到清晰图像的映射来恢复图像。尽管基于深度学习的方法具有强大的端到端学习能力,但它们仍然受到高计算成本和训练不稳定性的限制,这突显了需要更可靠的替代方案。
近年来,由扩散模型驱动的图像生成技术取得了显著进展[24]。基于这一成功,条件扩散模型作为一种可行的解决方案被引入,并广泛应用于各种低级视觉任务[25]、[26]、[27]、[28]。受此趋势的启发,水下图像处理领域出现了越来越多的研究。目前,使用退化图像[29]、[30]、[31]作为指导条件的条件扩散模型受到不准确噪声估计的限制。这种不准确性往往会加剧通道间的不平衡,导致不自然的颜色失真。最近的研究[32]、[33]尝试通过引入辅助网络来生成中间结果作为扩散模型的指导,以缓解这一问题。然而,这些方法严重依赖于辅助网络的设计,这增加了模型的复杂性和计算成本。为了解决上述问题,我们提出了TCDM-UIE,这是一种具有统一扩散网络的两阶段条件扩散方法。第一阶段利用基于水下退化图像和时间步长的扩散模型生成初步增强的图像;在此基础上,第二阶段在真实数据的监督下进一步细化结果。这种设计将粗略增强与精细细化分离,无需引入额外的网络,有助于稳定扩散训练并进一步提高整体性能。其有效性在图1中得到了说明。考虑到水下退化的多样性,我们进一步引入了一个有效的退化适配器,该适配器能够自适应地选择潜在的退化原型来调节扩散特征,从而增强对复杂退化分布的建模。本文的主要贡献总结如下:
提出了一种两阶段扩散方法,以减少扩散模型对水下场景中颜色偏差的敏感性。
  • 引入了一种将扩散集成到变换器中的扩散网络,不仅利用了扩散模型的生成能力,还捕获了长距离的空间依赖性。
  • 在扩散网络中引入了一个有效的退化适配器,通过学习的潜在嵌入来处理各种类型的水下退化。
  • 在多个水下图像数据集上的全面实验表明,TCDM-UIE在定量和定性方面都取得了卓越的性能。
  • 章节片段

    水下图像增强

    目前,现有的UIE方法[34]通常分为三类:非物理模型基方法、物理模型基方法和基于深度学习的方法。
    非物理模型基方法通过像素空间的经验性调整直接优化图像质量。Iqbal等人[1]提出了UCM方法,以单张退化图像作为输入,生成经过颜色校正的输出以及四个融合权重图。Hitam等人[2]引入了一种基于CLAHE的方法

    基于去噪扩散模型的UIE

    去噪扩散概率模型(DDPMs)[24]是一类概率生成模型,通过正向和反向扩散过程学习生成数据。正向扩散是一个马尔可夫链,通过添加高斯噪声来破坏数据。首先,在T步内向参考图像x0添加高斯噪声,遵循方差调度{β1,…,βT},直到xT几乎变成纯高斯噪声。该过程定义如下:q(x1:T)=t=1Tq(xtxt1)

    实现细节

    TCDM-UIE是在PyTorch 2.2.2环境中实现的,并在NVIDIA RTX 4090 GPU上运行。在所有实验中,图像被缩放到256×256像素,扩散时间步长T设置为1000。为了提高方法的性能,正向过程的方差调度β104线性增加到2×102β1=0.9β2=0.999),初始学习率为3×10,并使用权重衰减

    结论

    本文提出了一种基于统一扩散网络的两阶段条件扩散方法,用于水下图像增强。在第一阶段,使用条件扩散模型增强原始水下图像,旨在恢复颜色和整体图像结构;在第二阶段,在真实数据的监督下对第一阶段的输出进行细化,以恢复细节并进一步提高视觉质量。

    作者声明

    我们声明本手稿是原创的,之前未发表过,目前也没有其他地方正在考虑发表。我们确认所有列出的作者都已阅读并批准了该手稿,且没有其他符合作者资格但未列出的人员。我们还确认手稿中作者的顺序已经得到了所有人的批准。
    我们理解通讯作者是与编辑部门联系的唯一联系人

    CRediT作者贡献声明

    陈宇航:撰写——原始草稿、软件开发、方法论、数据整理。丁杰:撰写——审稿与编辑、监督。于华龙:验证、监督、项目管理。杨佳宇:可视化、调查、概念化。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有