FSILLIE:一种基于频率和空间集成感知的引导算法,用于低光照条件下的图像增强

时间:2026年1月6日
来源:Neurocomputing

编辑推荐:

低光图像增强方法FSILLIE通过亮度-色度空间转换,集成频率域虚拟衍射和空域相干检测,实现光照估计与调整。该框架包含光照调整、噪声估计去噪和颜色恢复三个模块,结合物理模型与深度学习,有效抑制噪声并恢复颜色失真,实验表明其性能优于现有方法。

广告
   X   

岳宇|王光豪|秦汉林|马琳|彭晓健|张旭培
西安电子科技大学光电工程学院,中国西安710071

摘要

在低光照条件下,图像捕捉过程中经常会出现曝光不足的问题,导致图像质量下降和噪声加剧。为了解决低光照图像质量下降的问题,我们提出了一种基于从RGB颜色空间转换得到的亮度-色度空间的频率-空间-集成感知低光照图像增强(FSILLIE)方法。该框架整合了三个模块:照明调整模块、噪声估计与去噪模块以及颜色恢复模块。在照明调整模块中,FSILLIE将频率域中的虚拟衍射物理模型与空间域中的相干检测技术结合到一个数据驱动的框架中,通过空间-频率域的集成实现了更准确的照明估计,并为后续模块提供了可靠的照明调整图。FSILLIE结合了从照明调整图派生的精心设计的噪声分布引导图和颜色注意力图,这些图为噪声抑制和颜色恢复提供了高质量的指导。最终,我们的方法动态调整照明、抑制噪声并恢复颜色失真,从而提升了图像处理能力。基于基准数据集的广泛评估表明,我们的方法在定量和定性上都优于现有的方法。实现代码可在以下链接获取:https://github.com/Intelligent-Photonic-Lab/FSILLIE

引言

低光照图像增强(LLIE)作为图像处理领域的一个基础研究课题,旨在通过解决噪声放大、颜色失真和纹理细节丢失等问题来提高在光照不足条件下捕获的图像的视觉质量。随着现实世界应用中对鲁棒视觉系统的需求不断增加(例如自动驾驶、监控和医学成像),有效的LLIE方法对于确保下游任务(如目标检测[3]、视觉导航[5]和语义分割[6])的可靠性至关重要。
低光照条件下的图像质量下降是由多种光度因素的多维非线性耦合引起的,包括光子捕获效率降低、传感器噪声放大以及光谱带间的非线性色度偏移[7]、[8]、[9]、[10]。传统的基于模型的方法[11]、[12]、[13]试图通过基于辐射度原理或人类视觉感知模型(例如基于Retinex理论的分解)的显式物理公式来解决这一病态问题。尽管这些方法在理论上有所依据,但它们需要对场景反射率、照明几何形状和传感器噪声特性有大量的先验知识,而这些信息在实际成像场景中往往难以获得。
这种理论要求与实际可实现性之间的根本脱节迫使传统算法采用次优的计算近似。因此,这些解决方案通常在狭窄的参数范围内运行,无法适应现实世界低光照环境中固有的空间变化的噪声-纹理-颜色相互依赖性。关键的是,这类基于模型的框架缺乏自主特征层次结构学习的能力,无法区分人为的场景黑暗和真正的退化现象,从而限制了它们的优化精度和实际效果。
在过去十年中,由深度神经网络(DNNs)驱动的数据驱动方法——特别是卷积神经网络(CNNs)[14]和视觉变换器(ViTs)[15]——在复杂模式识别任务中展现了前所未有的能力,在低光照图像增强方面取得了显著进展。这些成功主要源于它们从大规模数据集中提取高维特征和学习复杂统计模式的能力。然而,这些黑盒方法在模型可解释性和可控参数优化方面存在固有的局限性,这可能导致错误在不受控制的误差表面上传播,从而引发病态过拟合,并限制了其在现实世界场景中的泛化能力。
为了解决这些关键挑战,我们提出了一种基于频率-空间-集成感知的低光照图像增强(FSILLIE)框架,该框架将物理原理与可训练的神经架构相结合。在已建立的图像增强物理和数学基础[13]、[16]的基础上,我们的模型通过亮度(纹理)-颜色分离实现了通道级分解机制,从而对照明调整施加物理约束,以实现显式的噪声去除和隐式噪声抑制及颜色恢复的有效指导。总之,我们的贡献可以归纳为三个方面:
  • (1)
    我们提出了FSILLIE,这是一个考虑物理特性的低光照图像增强框架,它将频率域的虚拟衍射与空间域的相干检测相结合,通过双域学习实现准确的照明调整图估计,并比现有方法具有更高的噪声鲁棒性。
  • (2)
    基于高质量的照明调整图,我们设计了一个多任务子网络,同时处理颜色失真和隐式噪声抑制,有效解决了耦合的低光照退化问题。
  • (3)
    我们引入了一种基于衍射的信息光谱学习方法,将频率域的噪声模式与其空间概率分布联系起来,从而在暗区域精确抑制噪声,同时保留精细的结构细节。
  • (4)
    我们开发了基于统计先验的噪声分布引导图和颜色注意力图,这些图与照明调整图一起工作,以提高颜色保真度并抑制隐藏的噪声,从而产生更高质量的图像恢复效果。

相关工作

相关研究

在过去的几十年中,已经开发了许多技术来提高低光照图像的质量。这些方法可以分为两类:基于模型的方法和数据驱动的方法。

动机

基于图像分解理论,我们提出了一种模型-数据协同驱动的低光照图像增强框架,该框架将显式的物理建模与深度特征提取相结合。这种创新方法结合了原理性的领域知识与数据驱动的表示学习,通过三个相互促进的过程实现了对光照退化图像的全面恢复:

提出的工作

图2展示了FSILLIE的详细结构,它包括照明调整模块(ILL)、噪声估计与去噪模块(NOI&DEN)和颜色恢复模块(COL)。FSILLIE通过端到端的架构设计实现了低光照图像的增强处理,并在空间域和频率域中创新地建立了信息集成机制。通过深入挖掘和融合多样的图像特征,该模型有效地

结果与讨论

在本节中,我们通过低光照图像增强基准数据集的实验来验证所提出的FSILLIE的性能。首先,我们简要描述了实验设置。接下来,我们从定性和定量两个方面比较了各种LLIE方法。最后,通过消融实验评估了FSILLIE各部分的有效性。

结论

在这项研究中,我们提出了一种新的照明调整图估计架构,该架构利用基于虚拟衍射和相干检测的物理模型,通过数据驱动的方法有效整合了空间特征和频率物理过程。在高质量照明调整图的基础上,我们精心设计了噪声分布引导图和颜色注意力图,以进一步抑制隐式噪声并恢复颜色。实验结果

CRediT作者贡献声明

岳宇:撰写——审稿与编辑、方法论、研究调查、资金获取、形式分析、概念化。王光豪:撰写——初稿撰写、验证、软件开发、方法论。秦汉林:资源管理、项目协调。马琳:可视化处理、研究调查、数据管理。彭晓健:撰写——审稿与编辑、可视化处理、监督。张旭培:撰写——审稿与编辑、监督、项目协调、方法论、形式分析。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
岳宇在西安交通大学获得了电子科学与技术的学士和博士学位。自2020年以来,他一直担任西安电子科技大学光电工程学院的副教授。他的研究兴趣包括用于光学图像处理和光电子器件的人工智能。他是60多篇期刊和会议论文的作者。

生物通微信公众号
微信
新浪微博


生物通 版权所有