低光照图像增强(LLIE)作为图像处理领域的一个基础研究课题,旨在通过解决噪声放大、颜色失真和纹理细节丢失等问题来提高在光照不足条件下捕获的图像的视觉质量。随着现实世界应用中对鲁棒视觉系统的需求不断增加(例如自动驾驶、监控和医学成像),有效的LLIE方法对于确保下游任务(如目标检测[3]、视觉导航[5]和语义分割[6])的可靠性至关重要。
低光照条件下的图像质量下降是由多种光度因素的多维非线性耦合引起的,包括光子捕获效率降低、传感器噪声放大以及光谱带间的非线性色度偏移[7]、[8]、[9]、[10]。传统的基于模型的方法[11]、[12]、[13]试图通过基于辐射度原理或人类视觉感知模型(例如基于Retinex理论的分解)的显式物理公式来解决这一病态问题。尽管这些方法在理论上有所依据,但它们需要对场景反射率、照明几何形状和传感器噪声特性有大量的先验知识,而这些信息在实际成像场景中往往难以获得。
这种理论要求与实际可实现性之间的根本脱节迫使传统算法采用次优的计算近似。因此,这些解决方案通常在狭窄的参数范围内运行,无法适应现实世界低光照环境中固有的空间变化的噪声-纹理-颜色相互依赖性。关键的是,这类基于模型的框架缺乏自主特征层次结构学习的能力,无法区分人为的场景黑暗和真正的退化现象,从而限制了它们的优化精度和实际效果。
在过去十年中,由深度神经网络(DNNs)驱动的数据驱动方法——特别是卷积神经网络(CNNs)[14]和视觉变换器(ViTs)[15]——在复杂模式识别任务中展现了前所未有的能力,在低光照图像增强方面取得了显著进展。这些成功主要源于它们从大规模数据集中提取高维特征和学习复杂统计模式的能力。然而,这些黑盒方法在模型可解释性和可控参数优化方面存在固有的局限性,这可能导致错误在不受控制的误差表面上传播,从而引发病态过拟合,并限制了其在现实世界场景中的泛化能力。
为了解决这些关键挑战,我们提出了一种基于频率-空间-集成感知的低光照图像增强(FSILLIE)框架,该框架将物理原理与可训练的神经架构相结合。在已建立的图像增强物理和数学基础[13]、[16]的基础上,我们的模型通过亮度(纹理)-颜色分离实现了通道级分解机制,从而对照明调整施加物理约束,以实现显式的噪声去除和隐式噪声抑制及颜色恢复的有效指导。总之,我们的贡献可以归纳为三个方面:
- (1)
我们提出了FSILLIE,这是一个考虑物理特性的低光照图像增强框架,它将频率域的虚拟衍射与空间域的相干检测相结合,通过双域学习实现准确的照明调整图估计,并比现有方法具有更高的噪声鲁棒性。
- (2)
基于高质量的照明调整图,我们设计了一个多任务子网络,同时处理颜色失真和隐式噪声抑制,有效解决了耦合的低光照退化问题。
- (3)
我们引入了一种基于衍射的信息光谱学习方法,将频率域的噪声模式与其空间概率分布联系起来,从而在暗区域精确抑制噪声,同时保留精细的结构细节。
- (4)
我们开发了基于统计先验的噪声分布引导图和颜色注意力图,这些图与照明调整图一起工作,以提高颜色保真度并抑制隐藏的噪声,从而产生更高质量的图像恢复效果。