雾霾是一种非线性的大气退化现象，由悬浮的水滴、气溶胶和尘埃颗粒共同作用引起。尘埃颗粒引起的多次散射改变了光的传播，导致捕获的图像出现模糊、对比度降低和颜色失真。这种视觉退化不仅降低了人类的感知质量，还显著影响了高级计算机视觉任务的准确性，如深度估计[1]、[2]、[3]、物体检测[4]、[5]、[6]以及语义分割[7]、[8]、[9]。因此，在雾霾条件下恢复高质量、无雾霾的图像已成为计算机视觉和图像处理领域的重要研究方向。
现有的去雾技术大致可以分为基于模型和基于学习的方法。基于模型的方法通常建立在大气散射模型[10]的基础上，通过估计传输图和全局大气光来重建无雾霾图像。代表性的方法包括暗通道先验[11]、颜色衰减先验[12]和饱和度线先验[13]。尽管这些方法在理论上有很强的可解释性，但它们的性能严重依赖于先验假设，并且在复杂光照或空间非均匀雾霾条件下往往表现不佳。另一方面，卷积神经网络[14]、[15]、[16]、[17]、[18]或Transformer[19]、[20]、[21]、[22]直接学习雾霾图像和清晰图像之间的映射，在大规模标注数据集上取得了优异的结果。
值得注意的是，大多数现有的去雾方法主要是为白天场景设计的，在这种场景下，优化得益于充足且稳定的自然光照[23]、[24]、[25]、[26]的假设。然而，夜晚的雾霾引入了额外的退化因素，如低光照、人造光源的干扰和噪声水平的增加。这些因素在图像形成过程中共同作用，导致夜晚的退化机制比白天更为复杂。因此，白天的去雾网络无法直接泛化到夜晚的雾霾条件。为了解决这一挑战，已经开发了几种专门用于去除夜晚雾霾的方法[27]、[28]、[29]、[30]、[31]。然而，由于白天和夜晚图像之间的退化机制存在显著差异，单域方法在跨域应用中的性能会大幅下降（见图1）。尽管最近的努力试图同时优化低光照增强和去雾以减轻光照不足和雾霾的联合影响，但大多数方法缺乏对昼夜变化的系统建模。因此，这些方法在特征分布适应、退化模式对齐和跨域细节一致性方面仍然有限。实际上，自动驾驶、智能交通和监控等应用需要在动态变化的光照和交替的昼夜条件下具备强大的去雾性能。然而，当前方法在突然的光照变化或域转换下的性能不稳定，无法在安全关键场景中提供可靠的视觉感知。
为了应对这一挑战并推进图像恢复领域的发展，我们提出了一个新任务：统一昼夜图像去雾（UDND），旨在在单一框架内处理白天和夜晚的各种雾霾退化。然而，UDND任务提出了一个更具挑战性的跨域退化建模问题。成像退化不仅在强度分布上有所不同，还在雾霾特性、退化模式和局部对比度上存在差异，因此在不同的光照条件下表现出复杂的耦合。这种多维不确定性使得UDND成为一个高度不适定的逆问题，即使是很小的估计误差在跨域适应过程中也可能被放大，严重影响恢复质量。
一个潜在的解决方案是设计一个统一的昼夜去雾网络，该网络能够在不同的光照条件下共同建模多种退化模式，从而在单一框架内实现稳健的恢复。然而，现有的统一恢复框架通常依赖于静态先验或固定数据分布的假设，它们在处理显著的昼夜差异方面存在固有的局限性。这些局限性包括特征分布的变化、对异构退化模式的适应不足以及细节恢复的不稳定性。当扩展到跨域推理时，这些弱点会进一步加剧，导致性能波动明显。
值得注意的是，人类视觉系统具有动态的感知调整机制，这使得在学习过程中能够持续细化和增强视觉理解，从而即使在复杂环境中也能保持稳定的感知[34]、[35]、[36]。这一机制启发了UDND方法的设计：去雾算法不仅应恢复清晰的纹理和自然颜色，还应在不同环境中展现出自适应能力。提示学习作为一种新兴的知识指导和参数高效优化范式，在模型训练过程中注入额外的任务先验和语义线索，从而显著提高了在多种雾霾环境中的适应性和鲁棒性。
基于上述分析，本研究提出了一个统一的昼夜图像去雾框架（UDNDformer）。具体来说，采用了U形Transformer作为流程，利用其在全局依赖建模和层次特征交互方面的优势；其使用确保了在不同图像恢复任务中的适应性和可扩展性。然而，现有的统一恢复框架通常依赖于静态先验或固定数据分布的假设，而白天和夜晚成像特征之间的显著差异严重限制了它们的泛化能力。为了克服这一限制，引入了一种受人类视觉系统自适应调节启发的双提示策略，结合了硬提示学习和软提示学习。硬提示学习（HPL）通过场景重建生成退化先验，并以固定编码的形式将其注入网络，作为统一和可迁移的约束，提供在不同场景中一致的雾霾表示。这一过程增强了模型感知和建模退化模式的能力。相比之下，软提示学习（SPL）使用可学习的张量与编码特征交互，以适应性地捕捉不同时间域中的雾霾分布，并在解码过程中动态调整恢复表示，从而实现条件感知的退化指导。通过硬提示和软提示的协同作用，UDNDformer能够自适应地识别雾霾区域，并在不同类型的退化下灵活调整其感知和恢复，从而在白天和夜晚的场景中实现高质量的去雾。
总结来说，本文做出了以下贡献：
•我们提出了一个统一的昼夜图像去雾网络（UDNDformer），它在统一的恢复框架内共同建模和处理白天和夜晚的雾霾退化。这种方法克服了现有方法分别处理白天和夜晚雾霾的局限性，为昼夜去雾提供了一个新的范式。
•我们提出了一种基于硬提示和软提示学习的新策略。硬提示学习提供了稳健的退化先验，以增强网络的泛化能力，而软提示学习引入了可学习的语义指导，以提高白天和夜晚场景下的自适应能力。
•广泛的实验结果表明，UDNDformer在白天和夜晚的雾霾场景中均实现了稳健且一致的去雾性能，验证了其在跨域条件下的广泛适用性和卓越的恢复能力。
