PG-SPECT利用硼中子俘获疗法(BNCT)过程中释放的伽马单光子,实现实时成像,能够精确重建肿瘤区域内的硼药物浓度分布,并为剂量优化提供动态生物参数,这对个性化放疗计划具有重要的临床价值[13]。然而,由于SPECT系统的分辨率限制和高能伽马射线的散射,PG-SPECT图像常常受到空间模糊和噪声的影响,阻碍了实时诊断和治疗[17]。超分辨率重建(SR)可以从低采样率或低信噪比(SNR)的原始数据中恢复高分辨率图像细节,为这一问题提供了有效的解决方案。
近年来,SR在计算机视觉领域取得了显著进展,并逐渐扩展到医学图像重建任务中。深度学习的引入极大地提高了重建精度,使得从低分辨率图像中恢复高分辨率细节成为可能。基于卷积神经网络(CNN)的模型长期以来在超分辨率领域占据主导地位。这些模型大多通过引入残差学习[23],[24],[25],[26],[27],[28],[41],[42],[47]或递归学习[9],[10],[11],[12],[13],[14],[15],[16],[17],[18],[19],[20],[21],[22],[23],[24],[25],[26],[27],[28],[29],[30],[31],[32],[33],[34],[35],[36],[37],[38]等技术来提升性能,这些技术有助于消除网络架构中的干扰,显著推动了超分辨率模型的发展。随着研究的进步,Transformer模型也逐渐进入超分辨率领域,展现了强大的全局依赖性建模能力。例如,SwinIR[26]结合了Transformer的全局依赖性建模能力和空间及通道注意力机制,在复杂纹理恢复任务中取得了优异的性能。然而,尽管Transformer提高了图像重建的全局一致性,传统超分辨率模型仍主要依赖于均方误差最小化进行优化。这种优化方法迫使网络输出所有可能解决方案的平均结果,导致生成的图像丢失了高频细节并表现出过度平滑。为了解决这个问题并生成视觉上更吸引人的超分辨率图像,研究人员提出了生成式超分辨率模型,如生成对抗网络(GANs)、流模型和扩散模型。例如,ESRGAN[42]通过感知损失和对抗训练生成更详细的图像,SRFlow[31]使用基于流模型的可逆变换来确保图像生成的多样性,而扩散模型如SR3[37]通过逐步去噪生成高质量的超分辨率图像。
尽管现有方法在提高图像质量方面取得了一些进展,但大多数方法仅依赖于数据驱动的方法,缺乏对超分辨率过程中图像演化的物理或数学建模,导致模型的可解释性不足。在医学应用中,图像的可靠性至关重要,而缺乏可解释性会降低模型的可信度。因此,提高模型的可解释性对于确保超分辨率方法在医学领域的可靠性尤为重要。为此,我们将超分辨率重建过程类比为流体的运动,将超分辨率过程视为像素信息从低分辨率逐步传播到高分辨率的过程,如图1所示。基于这一思路,我们使用平滑粒子流体动力学(SPH)框架来重建超分辨率过程。在这个框架中,像素被视为离散粒子,图像的局部特征通过这些粒子之间的相互作用进行更新和传播,从而实现精确的细节恢复。流体动力学中的局部粒子密度反映了图像中边缘纹理和平坦背景区域之间的结构差异,为图像重建中的结构感知提供了重要基础。更重要的是,流体系统的动态演化受到物理定律的约束,这些物理约束为确保细节恢复和结构一致性提供了有力支持。
基于上述分析和讨论,我们提出了一个受SPH启发的超分辨率重建网络SPHSR。从物理建模的角度来看,超分辨率重建过程被类比为流体运动,其中图像像素被视为离散粒子。通过粒子相互作用和物理定律的约束,图像特征逐渐更新,以实现高质量的超分辨率重建。在这个框架中,我们引入了密度感知残差调制机制,通过估计局部“像素密度”来适应性地调整特征幅度。这种机制在高密度区域增强结构细节的恢复,同时在低密度区域保持平滑性。此外,我们还设计了一个受纳维-斯托克斯方程(NS)启发的物理引导分支。该分支模拟NS方程的物理效应,以约束特征传播的方向性和幅度,有效控制高频区域信息扩散的结构一致性,从而提高重建的整体稳定性。与传统的数据驱动深度学习方法相比,我们的方法不仅提高了超分辨率重建性能,还增强了模型的可解释性。我们的贡献如下:
- 我们提出了一种新的基于物理原理的超分辨率网络SPHSR,它利用SPH框架为可靠的高质量PG-SPECT图像重建提供理论支持和可解释性。
- 我们设计了一种密度感知残差调制机制,通过估计局部“像素密度”来适应性地调整特征幅度,增强模型对复杂结构区域的响应。
- 我们引入了一个纳维-斯托克斯引导分支,该分支模拟物理过程以指导特征传播,提高结构一致性和重建的整体稳定性。
- 我们构建了一个PG-SPECT图像超分辨率数据集,为PG-SPECT医学图像重建任务提供了研究基础。