图像去雾
是计算机视觉应用中的一个关键问题，近年来研究人员提出了许多去雾方法（Yuan等人，2021年）。然而，这些方法大多是为室外环境设计的，忽略了烟雾比雾具有更大的非均匀性这一事实。在腹腔镜手术中，烟雾会严重降低图像质量并遮挡关键的解剖结构，从而增加手术风险和并发症（Venkatesh等人，2020年）。直接应用为室外环境设计的去雾方法可能会导致颜色失真和过度去雾等问题（Kotwal等人，2016年）。因此，腹腔镜图像的去雾已成为一个越来越受关注的研究课题。
在图像去雾领域，大气散射模型（ASM）（McCartney，1976年）被广泛用作基本模型，它描述了光与大气中的粒子和分子之间的相互作用。基于ASM的方法通常依赖于手动设计的特征，并假设被遮挡的场景本质上是清晰的（He等人，2011年）。通过引入正则化技术来优化透射率图的估计，有望在复杂场景中获得更稳定和高质量的去雾效果（Ali等人，2023年）。然而，这些方法在应用于复杂的实际场景（如腹腔镜手术）时可能会遇到困难（Li等人，2017年）。近年来，深度学习技术，特别是卷积神经网络，在图像去雾任务中取得了显著进展（Ren等人，2016年）。例如，端到端网络可以直接生成无烟雾图像（Qin等人，2020年），绕过了传统去雾方法中涉及的多个复杂中间步骤，并且性能优于传统的基于ASM的方法（Liu等人，2019年）。最近，视觉变换器（ViT）（Dosovitskiy等人，2021年）在去雾任务中超越了卷积神经网络（CNN）。然而，这些方法通常是为通用场景设计的，并未针对腹腔镜手术中观察到的非均匀烟雾分布进行优化。因此，它们容易在无烟雾区域过度去雾，甚至可能将医疗仪器误认为是需要去除的烟雾（Guo等人，2022年）。
一种有效的腹腔镜图像去雾方法必须能够准确检测烟雾的密度和分布（Chen等人，2020年），不仅要准确重建受烟雾影响的区域的清晰场景，还要保持无烟雾区域的图像质量（Sengar等人，2021年）。因此，最近的腹腔镜图像去雾方法，如De-smokeGCN（Chen等人，2020年）和MARSGAN（Hong等人，2023年），倾向于使用预测的烟雾分布来指导去雾过程。然而，这些方法通常将预测的烟雾分布视为隐式约束，要么作为去雾网络的额外输入，要么作为损失函数中的约束项，而没有将其明确整合到无烟雾区域的重建中。这些方法未能充分利用估计的烟雾分布中固有的区域约束信息，导致无烟雾区域容易过度去雾。
在这项研究中，提出了一种名为烟雾注意力引导去雾网络（SAGNet）的新型深度学习架构。为了确保在无烟雾区域准确重建的同时防止失真，该网络首先通过烟雾注意力估计器估计烟雾分布，然后明确使用这一估计来指导去雾过程。本研究的主要贡献如下：
- •
一种亮度嵌入方法，将通道先验集成到烟雾注意力估计器中，提高了其解释烟雾分布的能力，并提高了预测烟雾注意力图的准确性。
- •
混合引导嵌入模块利用学习到的烟雾注意力图以及来自大气散射模型的先验知识来准确重建无烟雾图像。它还将去雾过程限制在预测烟雾注意力图指示的区域，从而降低了过度去雾的风险。
- •
一种软场变换，将烟雾注意力图转换为权重矩阵，用于引导项，确保重建过程集中在预测烟雾注意力图突出的区域。
