SPHSR:一种受平滑粒子流体动力学启发的PG-SPECT超分辨率重建方法

时间:2026年2月10日
来源:Neurocomputing

编辑推荐:

SPHSR方法基于流体动力学理论,提出密度感知残差调制机制和Navier-Stokes引导分支,提升医学影像超分辨率重建的质量与可解释性,实验验证优于现有SOTA方法。

广告
   X   

钱旭|张明金|李曦|袁豪娟|李志峰|王胜
西安电子科技大学电子工程学院,中国西安,710071

摘要

PG-SPECT是一种基于硼中子俘获疗法(BNCT)过程中释放的伽马单光子发射计算机断层扫描(PG-SPECT)技术的实时成像技术,能够动态监测肿瘤内硼药物的空间分布。然而,其图像分辨率有限,亟需超分辨率重建来提高成像质量和临床实用性。尽管近年来基于深度学习的超分辨率方法取得了一些进展,但大多数方法仍依赖于数据驱动的“黑箱”模型,缺乏对图像演化过程的物理或数学建模。这导致高频信息的保真度和可解释性受到限制。为了解决这个问题,我们提出了一种基于物理原理的超分辨率方法SPHSR。我们将图像超分辨率过程类比为流体流动,并引入了基于平滑粒子流体动力学(Smoothed Particle Hydrodynamics, SPH)理论的密度感知残差调制机制。
通过估计像素粒子之间的相互作用来构建局部密度场,我们利用该密度场来调节特征响应的幅度。同时,我们设计了一个物理引导分支和一个融合模块,利用纳维-斯托克斯方程(Navier-Stokes equations)来模拟物理场的演化。这种方法能够在增强结构一致性和传播可解释性的同时,对图像细节进行引导性修正。在基准数据集和我们的PG-SPECT数据集上的实验结果表明,SPHSR的性能优于现有的最先进方法。

引言

PG-SPECT利用硼中子俘获疗法(BNCT)过程中释放的伽马单光子,实现实时成像,能够精确重建肿瘤区域内的硼药物浓度分布,并为剂量优化提供动态生物参数,这对个性化放疗计划具有重要的临床价值[13]。然而,由于SPECT系统的分辨率限制和高能伽马射线的散射,PG-SPECT图像常常受到空间模糊和噪声的影响,阻碍了实时诊断和治疗[17]。超分辨率重建(SR)可以从低采样率或低信噪比(SNR)的原始数据中恢复高分辨率图像细节,为这一问题提供了有效的解决方案。
近年来,SR在计算机视觉领域取得了显著进展,并逐渐扩展到医学图像重建任务中。深度学习的引入极大地提高了重建精度,使得从低分辨率图像中恢复高分辨率细节成为可能。基于卷积神经网络(CNN)的模型长期以来在超分辨率领域占据主导地位。这些模型大多通过引入残差学习[23],[24],[25],[26],[27],[28],[41],[42],[47]或递归学习[9],[10],[11],[12],[13],[14],[15],[16],[17],[18],[19],[20],[21],[22],[23],[24],[25],[26],[27],[28],[29],[30],[31],[32],[33],[34],[35],[36],[37],[38]等技术来提升性能,这些技术有助于消除网络架构中的干扰,显著推动了超分辨率模型的发展。随着研究的进步,Transformer模型也逐渐进入超分辨率领域,展现了强大的全局依赖性建模能力。例如,SwinIR[26]结合了Transformer的全局依赖性建模能力和空间及通道注意力机制,在复杂纹理恢复任务中取得了优异的性能。然而,尽管Transformer提高了图像重建的全局一致性,传统超分辨率模型仍主要依赖于均方误差最小化进行优化。这种优化方法迫使网络输出所有可能解决方案的平均结果,导致生成的图像丢失了高频细节并表现出过度平滑。为了解决这个问题并生成视觉上更吸引人的超分辨率图像,研究人员提出了生成式超分辨率模型,如生成对抗网络(GANs)、流模型和扩散模型。例如,ESRGAN[42]通过感知损失和对抗训练生成更详细的图像,SRFlow[31]使用基于流模型的可逆变换来确保图像生成的多样性,而扩散模型如SR3[37]通过逐步去噪生成高质量的超分辨率图像。
尽管现有方法在提高图像质量方面取得了一些进展,但大多数方法仅依赖于数据驱动的方法,缺乏对超分辨率过程中图像演化的物理或数学建模,导致模型的可解释性不足。在医学应用中,图像的可靠性至关重要,而缺乏可解释性会降低模型的可信度。因此,提高模型的可解释性对于确保超分辨率方法在医学领域的可靠性尤为重要。为此,我们将超分辨率重建过程类比为流体的运动,将超分辨率过程视为像素信息从低分辨率逐步传播到高分辨率的过程,如图1所示。基于这一思路,我们使用平滑粒子流体动力学(SPH)框架来重建超分辨率过程。在这个框架中,像素被视为离散粒子,图像的局部特征通过这些粒子之间的相互作用进行更新和传播,从而实现精确的细节恢复。流体动力学中的局部粒子密度反映了图像中边缘纹理和平坦背景区域之间的结构差异,为图像重建中的结构感知提供了重要基础。更重要的是,流体系统的动态演化受到物理定律的约束,这些物理约束为确保细节恢复和结构一致性提供了有力支持。
基于上述分析和讨论,我们提出了一个受SPH启发的超分辨率重建网络SPHSR。从物理建模的角度来看,超分辨率重建过程被类比为流体运动,其中图像像素被视为离散粒子。通过粒子相互作用和物理定律的约束,图像特征逐渐更新,以实现高质量的超分辨率重建。在这个框架中,我们引入了密度感知残差调制机制,通过估计局部“像素密度”来适应性地调整特征幅度。这种机制在高密度区域增强结构细节的恢复,同时在低密度区域保持平滑性。此外,我们还设计了一个受纳维-斯托克斯方程(NS)启发的物理引导分支。该分支模拟NS方程的物理效应,以约束特征传播的方向性和幅度,有效控制高频区域信息扩散的结构一致性,从而提高重建的整体稳定性。与传统的数据驱动深度学习方法相比,我们的方法不仅提高了超分辨率重建性能,还增强了模型的可解释性。我们的贡献如下:
  • 我们提出了一种新的基于物理原理的超分辨率网络SPHSR,它利用SPH框架为可靠的高质量PG-SPECT图像重建提供理论支持和可解释性。
  • 我们设计了一种密度感知残差调制机制,通过估计局部“像素密度”来适应性地调整特征幅度,增强模型对复杂结构区域的响应。
  • 我们引入了一个纳维-斯托克斯引导分支,该分支模拟物理过程以指导特征传播,提高结构一致性和重建的整体稳定性。
  • 我们构建了一个PG-SPECT图像超分辨率数据集,为PG-SPECT医学图像重建任务提供了研究基础。
为了便于重现性,本研究开发的源代码可在https://github.com/TR797963/SPHSR获取。PG-SPECT数据集可根据合理请求向通讯作者索取。

部分摘录

图像超分辨率重建

近年来,随着深度学习技术的发展,图像超分辨率(SR)重建方法取得了显著进展。这些进展不仅限于自然图像,还在遥感土地覆盖解释[16]和医学成像等各种专业领域展现了良好的效果。Dong等人[12]提出的SRCNN使用三层卷积神经网络实现了从低分辨率到高分辨率的端到端映射

概述

SPHSR的整体网络架构遵循了类似于参考文献[26],[27],[28],[29],[30],[31],[32],[33],[34],[35],[36],[37],[38],[39],[40],[41],[42],[43],[44],[45],[46],[47]中的经典残差-残差设计。如图2所示,我们的网络由三个主要部分组成:浅层特征提取、深层特征提取和图像重建。

浅层特征提取和重建

给定一个低质量的输入图像,其中

PG-SPECT数据集

由于缺乏公开的PG-SPECT图像超分辨率数据集,我们基于从BNCT实验平台收集的伽马投影数据构建了第一个用于超分辨率重建的配对PG-SPECT图像数据集。原始投影数据通过PG-SPECT系统获得,图像重建使用3D OSEM算法。为了生成高分辨率(HR)图像,我们配置了较高的迭代次数以最小化统计噪声

结论

我们提出了一个超分辨率网络SPHSR,它结合了物理先验来解决PG-SPECT超分辨率重建中的结构失真和可解释性建模问题。从流体动力学的角度出发,我们利用平滑粒子流体动力学理论设计了密度感知残差调制模块,根据区域复杂性适应性地调节特征响应,从而增强细节恢复。同时,我们引入了引导机制

CRediT作者贡献声明

钱旭:撰写——原始草案、可视化、验证、方法论、研究。张明金:撰写——审阅与编辑、监督、资源管理、项目管理、方法论。李曦:项目管理。袁豪娟:撰写——审阅与编辑。李志峰:资金获取。王胜:资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
钱旭于2024年获得中国西安电子工程大学的电子工程学士学位,目前正在西安电子科技大学攻读博士学位。他的研究兴趣包括人工智能、深度学习和对象检测。

生物通微信公众号
微信
新浪微博


生物通 版权所有