位深度是指存储或表示数据时单个样本或像素值所使用的位数。在现代数字图像处理和图像生成中,高位深度(HBD)图像的生成逐渐成为一个热门研究课题。如图1所示,HBD图像比低位深度(LBD)图像提供更多细节,带来更好的视觉体验。然而,使用高位设备直接获取图像会增加成本并带来技术挑战(Park和Mackay,2003),尤其是在无线传感器网络(Pandey和Laxmi,2017)和物联网设备(Ji等人,2019)等大规模应用场景中,这些设备通常受功耗和硬件成本的限制,无法支持高位量化下的直接获取。这一限制促使人们探索从LBD图像输入生成HBD图像的方法。BDE(反量化,Wan等人,2012a)旨在通过算法将LBD信号恢复为HBD,从而在避免依赖昂贵硬件升级的同时提高数据质量。
传统的BDE方法(Ulichney和Cheung,1998;Wan等人,2012b;Wan等人,2016;Liu等人,2008;Wan等人,2014;Wan等人,2019;Zhang等人,2016;Liu等人,2018)已被提出用于解决反量化问题。第一类策略基于传统的数学建模和像素插值:直接位操作如零填充(ZP)和位复制(BR)(Ulichney和Cheung,1998),虽然计算效率高,但仅关注单个像素的数值扩展,忽略了相邻像素之间的空间相关性,导致平坦区域出现明显的虚假轮廓和颜色不连续性。基于插值的方法如CA(Wan等人,2016)通过抑制低位图像中的虚假轮廓来恢复细节。基于优化的算法IPAD(Liu等人,2018)通过强度势场的上下文自适应反量化过程来抑制虚假轮廓。然而,在纹理复杂或高频细节较多的区域,仍然难以平衡局部细节与全局一致性,常常会出现过度细节平滑或伪影扩散的问题。尽管上述方法在一定程度上改善了虚假轮廓的抑制效果,但生成的图像中仍可见明显的虚假轮廓和颜色失真。
此外,还有一种基于PSD的确定性重建算法(PSD-DR)(Wan等人,2014),它通过将计划的传感器失真(PSD)插入模数转换器(ADC)来构建多个描述(MDs),然后基于这些MDs减少高比特率像素值的估计误差,有效抑制伪影。PSD-PR(Wan等人,2019)是针对噪声图像改进的PSD-DR算法。PSD-block(Zhang等人,2016)改进了PSD-DR算法的动态范围损失问题。然而,这些算法都没有利用除PSD模板之外的上下文信息,导致明显的虚假轮廓痕迹。
近年来,基于深度神经网络的方法(Liu等人,2017;Byun等人,2018;Zhang等人,2021;Zhao等人,2023;Liu等人,2022;Nie等人,2022;Han等人,2023;Fu等人,2024;Punnappurath和Brown,2022)比传统的BDE方法取得了更大成功。它们利用端到端学习LBD和HBD图像之间的非线性映射,在伪影抑制和细节恢复方面取得了显著进展。典型的CNN方法,如BE-CNN(Liu等人,2017)、BitNet(Byun等人,2018)和BE-ACGAN(Zhang等人,2021),通过残差学习、跳跃连接和多尺度特征融合,在一定程度上克服了传统方法的局限性。然而,由于CNN的固有局限性,卷积的固定感受野难以自适应捕捉长距离依赖关系,难以在平坦区域和非平坦区域之间平衡处理效果。全局信息的利用不足也限制了深度模型的性能提升。
最近,一种改进的结构化状态空间序列模型(S4)Mamba因其能够以线性复杂度建模长距离序列关系而脱颖而出(Fu等人,2022;Gu和Dao,2023;Gu等人,2021a;Mehta等人,2022;Smith等人,2022)。它不仅在自然语言处理(Gu和Dao,2023)方面表现出色,而且在计算机视觉中也展现出巨大潜力。Mamba的一些变体在计算机视觉中也取得了非常显著的结果,如图像分类、目标检测和图像超分辨率(Liu等人,2024;Ma等人,2024;Zhu等人,2024)。基于Mamba模型的出色长期依赖关系建模能力和线性时间复杂度,我们尝试将其引入BDE领域。通过将Mamba的状态空间建模能力引入BDE,可以从LBD图像的像素值序列中学习更复杂的上下文信息,为恢复HBD图像提供更准确的参考。
鉴于现有算法在虚假轮廓抑制方面的不足以及无法充分利用全局上下文的问题,以及Mamba模型在线性时间复杂度下高效捕捉全局长距离依赖关系的能力,本研究提出了一种端到端的BDE算法:PSD-Mamba。该算法利用PSD预处理和中途量化方法,在图像获取端主动嵌入结构化MDs,有效减少动态范围损失和量化误差,同时结合状态空间模型(SSM)的全局感知能力,借助改进的Mamba网络实现从LBD到HBD图像的高效重建。本研究的主要贡献如下:
- 我们提出了Mamba-UNet Block(MUNB),它构建了一个编码器-瓶颈层-解码器结构,不仅能够充分捕捉图像的局部纹理和全局结构,还能利用SSM的线性复杂度优势高效建模长距离依赖关系,从而在BDE任务中显著提升位恢复细节。
- 我们在重建网络中引入了Residual Mamba Block(RMB),它将状态空间模块与可学习的局部卷积残差结构相结合,保持了长距离像素依赖关系的准确建模,同时精细地提取高频细节并大幅减少量化伪影。
- 我们结合SSM和PSD的开创性组合展示了Mamba在BDE中高效有效进行全局建模的潜力。广泛的实验结果表明,我们的方法优于现有的BDE方法,为将LBD图像转换为HBD图像提供了一种高效且稳健的新策略。