利用生成对抗网络净化医学图像

时间:2026年5月16日
来源:Neurocomputing

编辑推荐:

张珏鑫|翁颖|王博丁|黄荣|邱国平 中国宁波诺丁汉大学计算机科学学院,宁波,315100 **摘要** 人工智能(AI)在医学成像中的应用有潜力通过提高诊断准确性、减少错误和增加效率来彻底改变医疗保健。深度神经网络(DNN)在诊断各种疾病方面取得了巨大成功,其性能常

广告
   X   

张珏鑫|翁颖|王博丁|黄荣|邱国平
中国宁波诺丁汉大学计算机科学学院,宁波,315100

**摘要**
人工智能(AI)在医学成像中的应用有潜力通过提高诊断准确性、减少错误和增加效率来彻底改变医疗保健。深度神经网络(DNN)在诊断各种疾病方面取得了巨大成功,其性能常常达到甚至超过人类专家的水平。然而,DNN仍然容易受到对抗性攻击的影响——精心设计的输入可以操纵神经网络做出错误预测。当前的对抗性防御技术(如对抗性训练)在对抗特定攻击时的有效性有限,并且需要重新训练模型,从而阻碍了其广泛应用。对抗性净化是一种新兴的防御方法,它利用生成模型来优化训练数据并在分类之前消除对抗性样本。本文探讨了多种生成模型,并提出了一种名为AdvPurify-GAN的新型生成对抗网络(GAN),用于净化医学图像以抵御对抗性攻击。我们的工作是首个利用对抗性净化技术来增强医学图像分析鲁棒性的研究。我们在多个数据集上评估了AdvPurify-GAN,并显示其在标准攻击下的性能优于现有的对抗性训练和净化基线方法。

**引言**
AI辅助的疾病诊断是一个快速发展的领域,通过实现更快、更准确的诊断,具有显著改善医疗结果的潜力。人工智能(AI)现在被用来模拟医生进行脑肿瘤的初步诊断,这可以大大减轻医疗专业人员的工作负担,并从医学图像中提取出可能被人类忽略的不可见、定量和客观的信息。基于深度神经网络(DNN)的方法在脑肿瘤诊断任务中展示了出色的结果,现在可以与专业医生相媲美。目前,许多公司通过云计算平台提供医学图像分类服务。然而,DNN容易受到对抗性攻击的影响,这些攻击涉及对输入数据进行微小的、难以察觉的修改,导致DNN做出错误预测[1]。此外,Ma等人的研究[2]表明,医学DNN模型比自然图像模型更容易受到对抗性攻击。这种高脆弱性源于医学数据的稀缺性[3],这阻碍了模型的有效泛化能力。在医学成像领域,由于隐私问题和数据收集的难度,训练数据远少于自然图像数据。这意味着深度学习算法更容易过参数化,并且在医学诊断的背景下更容易受到数据扰动的影响。医学状况的误诊可能会产生严重且不可预测的后果,例如影响患者状况的评估和提供错误的治疗计划。目前,AI辅助诊断的应用主要涉及分割和分类过程。例如,脑肿瘤的分类或分割错误可能会显著影响患者的生存率。尽管这些算法目前仅限于协助医生进行诊断,但在临床环境中,提高深度学习算法的泛化能力和鲁棒性仍然是一个不可避免的挑战。因此,防御对抗性攻击已成为医学图像分析领域的一个关键研究方向。

随着对抗性机器学习作为一种有前景的技术出现,以解决基于DNN的方法的局限性,许多研究调查了医学成像领域中对抗性攻击的防御方法。Vatian等人[4]研究了三种不同的防御方法,发现对抗性训练是最有效的方法。为了增强对大扰动的鲁棒性,提出了一种结合投影梯度下降(PGD)[5]和投影差异测试(PDT)[6]的新对抗性训练策略,用于胸部疾病诊断[7]。然而,大多数对抗性训练方法仅限于防御它们所训练的特定攻击。医疗智能系统不仅需要防御已知的威胁,还需要能够识别和应对未知威胁,因为保护不足可能导致重大财务损失和潜在的健康风险。许多研究将设计良好的威胁模型集成到他们的自然图像对抗性训练流程中,但遇到了性能下降[8]和额外的计算复杂性[9]的问题。另一种策略是专注于检测对抗性样本,而不是完全依赖资源密集型的对抗性训练。鉴于对抗性训练方法经常容易受到新型和不断演变的攻击,这一点尤为重要。四种检测方法——核密度(KD)[10]、局部内在维度(LID)[11]、深度特征(DFeat)和量化特征(QFeat)[12]——已在[2]中得到应用。值得注意的是,他们发现医学对抗性样本通常比自然样本更容易检测,并且几乎可以与正常特征线性分离。这可能是由于医学图像的高度结构化特性,使得机器学习算法能够更容易识别与对抗性扰动相关的模式。在[13]中,他们的系统中集成了一种额外的检测模型。他们使用在干净数据上训练的分类模型从训练数据和对抗性样本中提取特征,然后利用这些提取的特征来识别和拒绝对抗性样本。这种方法允许无缝集成,而无需重新训练分类模型。然而,检测方法在应对特定类型的对抗性扰动方面的能力仍然有限。更令人担忧的是,这些方法在部署后可能会在较长时间内无法检测到对抗性样本。此外,这些方法通常直接拒绝对抗性样本,这对实际应用提出了重大挑战。

**针对医学图像分析模型的临床应用,对抗性防御方法应具备以下特点:**
1. **无需重新训练模型**:在医学领域,由于隐私和监管限制,访问训练数据往往受到限制。对抗性训练等方法需要向训练数据中添加扰动以创建对抗性样本,然后将其集成到训练集中以防御攻击。然而,由于隐私问题,共享数据并不总是允许的。此外,现代模型变得越来越庞大和复杂,需要大量的计算资源和时间进行训练。例如,GPT-4和LLaMA等模型常用于医学视觉问答(VQA)任务来回答医学问题。重新训练或微调这些模型可能非常耗时。
2. **能够防御多种攻击**:现有方法通常仅对集成到模型训练过程中的特定类型的攻击有效。相比之下,现实世界中的攻击可能多种多样,可能与训练期间使用的攻击不同。多次用不同的攻击场景重新训练模型是不切实际的。理想的防御方法应对未见过的和多样的攻击仍然有效。
3. **快速推理时间**:在医学领域,快速诊断对于许多情况至关重要,特别是对于需要立即干预的缺血性疾病(如中风)。因此,对抗性防御方法必须确保推理时间尽可能短,以便及时和准确地做出决策。推理时间的任何显著增加都可能延迟治疗并可能恶化患者结果。

近年来,出现了一类针对自然图像的新防御方法,称为对抗性净化[14]、[15]、[16],它们利用生成模型来优化训练数据并在分类之前去除对抗性样本。在标准威胁模型下,对抗性净化可以在不重新训练现有分类器的情况下提高鲁棒性。这是通过独立于威胁模型和分类器训练生成净化模型来实现的。虽然对抗性净化在医学成像领域尚未得到广泛应用,但它提供了有希望的优势。然而,其性能通常落后于当前的对抗性训练方法[17],尤其是在攻击者完全了解防御机制的自适应攻击情况下。最近,一种基于扩散模型的方法名为DiffPure[18],使用预训练的扩散模型来净化对抗性图像,并显示出优于对抗性训练的性能,符合上述三个特点中的两个。

在本文中,我们分析了不同的生成模型用于对抗性净化,并提出了一种基于生成对抗网络(GAN)的新方法来增强医学图像分析模型的鲁棒性。我们解决了GAN中的稳定性和模式崩溃问题,从而提高了对抗性净化的性能。在本研究中考虑的标准攻击评估下,我们的方法相对于现有的对抗性训练和净化基线表现良好。

**我们的贡献总结如下:**
• 我们提出了AdvPurify-GAN,这是一种用于净化脑肿瘤数据集以抵御对抗性攻击的新型GAN。据我们所知,这是第一个针对医学成像分析的对抗性净化工作。
• 我们采用了多种技术来稳定GAN训练并验证了它们的有效性。这些技术提高了对抗性净化的性能。
• 我们的AdvPurify-GAN在多种标准攻击下表现出强大的性能,并且可以即插即用地应用,无需重新训练分类器。它在本研究考虑的评估设置下也取得了比以前的对抗性净化基线更好的结果。

**本文的其余部分组织如下:**
第2节介绍了理解所提出方法所需的相关背景知识。第3节分析了可用于净化对抗性攻击的不同生成模型。第4节详细描述了所提出的方法。第5节概述了实验设置,展示了结果,并从定量和定性的角度讨论了其重要性。第6节讨论了在自适应白盒攻击下的局限性,并证明了为医学成像领域量身定制的特定稳定技术。最后,第7节总结了关键发现并展望了未来的研究方向。

**术语说明**
**对抗性攻击**
在对抗性机器学习的背景下,对抗性攻击涉及故意操纵输入数据以诱导机器学习模型做出错误分类。对抗性攻击对机器学习模型的安全性构成重大威胁,因为恶意行为者可以利用它们来实现其恶意目标。这一概念最初在[19]中提出,随后扩展到计算机视觉系统[1]中。

**用于对抗性净化的生成模型**
已经探索了几种用于自然图像对抗性净化的生成模型,但它们的性能通常不如对抗性训练方法。第一个应用的生成模型是一个称为PixelDefend[14]的自回归模型。利用生成对抗网络(GAN)的表示能力,提出了Defense-GAN[15],通过在将输入图像“投影”到GAN的生成器范围内来减轻对抗性扰动的影响。

**GAN的不稳定性和模式崩溃**
虽然普通的GAN在各种应用中展示了令人印象深刻的能力,特别是在图像生成方面,但它们受到不稳定训练过程和模式崩溃的干扰,可能导致分布偏差和生成质量下降。在Defense-GAN中,通过使用Arjovsky等人提出的Wasserstein GAN(WGAN)框架解决了普通GAN的局限性[23]。WGAN中的Wasserstein损失用于近似Wasserstein距离。

**数据集和预处理**
我们使用了四个不同的公开可访问的数据集,并在表1中进行了总结。BraTS 2021数据集用于脑肿瘤分割,包含来自660名患者的1251个多模态MRI扫描,包括训练集和验证集。该数据集包括术前多参数MRI扫描(T1加权、T1加权增强、T2加权和FLAIR)以及相应的手动分割标签。

**在自适应白盒攻击下的局限性**
尽管我们的实证评估在标准攻击下显示出强大的性能,并且现在包括初步的自适应白盒评估,但这些结果不应被解释为对完全自适应、具有防御意识的攻击者的鲁棒性的决定性证据。在这种情况下,假设攻击者知道分类器、生成器和整个净化流程。对于基于净化的防御来说,自适应评估尤为重要。

**结论**
本文提出了AdvPurify-GAN,这是一种利用生成对抗网络(GAN)来增强医学成像中分类模型鲁棒性的新防御策略。实验结果表明,AdvPurify-GAN在本研究考虑的标准攻击设置下的四个数据集(包括MRI、CT和X射线图像)上表现出强大的性能。在这些评估设置中,我们的方法优于对抗性净化和对抗性训练基线。

**CRediT作者贡献声明**
张珏鑫:撰写——原始草稿、可视化、验证、软件、方法论、调查、概念化。
翁颖:撰写——审阅与编辑、监督、调查、资金获取。
王博丁:撰写——审阅与编辑、验证。荣黄:撰写、审稿与编辑,验证。邱国平:撰写、审稿与编辑,验证。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
致谢
本研究得到了宁波市科技创新2025重大项目(2022Z126)的支持。
张觉新是宁波诺丁汉大学的一名博士生,他致力于开发用于医学图像分析的深度学习和生成模型。他的研究重点是脑部MRI,特别是3D肿瘤修复和胶质母细胞瘤特征识别。作为该领域的杰出选手,张觉新曾三次获得BraTS修复挑战赛冠军,并两次获得BraTS病理学竞赛亚军。他的工作还扩展到了阿尔茨海默病的检测与可视化领域。

生物通微信公众号
微信
新浪微博


生物通 版权所有