高宇飞|李振阳|徐静|李青|李子宇|张亚萌|史磊
郑州大学网络科学与工程学院,中国河南省郑州市450001
**摘要**
领域适应在医学图像分析中变得越来越重要,因为它使模型能够有效应对由于成像扫描仪差异、患者群体变化以及临床协议差异而产生的分布偏移。经过多年的发展,传统的单领域适应方法已经达到了相对成熟的阶段,但同时也面临着应用范围日益复杂和受限的瓶颈。为了克服这些限制,人们不断提出了更先进的领域适应范式。为了应对数据多样性和隐私限制,多领域适应和无源领域适应在近年来取得了快速进展。这些方法的迅速出现创造了一个碎片化且复杂的领域,突显了系统综合的迫切需求,以建立一个连贯的框架并指导未来的创新。本文专门对医学图像分析中的多领域适应(MDA)和无源领域适应(SFDA)的最新进展进行了联合回顾和分析。它将医学图像分析流程分为五个阶段,并系统地研究了为多领域适应和无源领域适应开发的方法。通过对近期研究的批判性回顾,确定了几个关键的开放性挑战。最后,为了进一步推进这一领域的研究,提出了针对多领域适应和无源领域适应的前瞻性研究建议。
**引言**
近年来,深度学习从根本上改变了医学图像分析,实现了从诊断到分割等各种任务的前所未有的性能提升。这一成功的核心是领域适应(DA),这是一系列使模型能够泛化到异构数据分布的关键技术。然而,在现实世界的临床环境中,传统的单领域适应(SDA)范式——假设一个精心策划的单一源领域可以适应目标领域——已变得越来越不可行。现代医疗生态系统不是简单的源-目标对,而是由多机构合作、不断发展的扫描仪硬件、多样化的患者群体以及严格的数据隐私法规(如GDPR、HIPAA)塑造的动态分布式网络。在这种情况下,出现了几个紧迫的挑战:如何使用有限且部分标记的数据训练高性能模型,如何在训练过程中对齐多个领域以减少领域间差异,以及如何有效解决噪声和隐私问题以提高模型的可靠性和安全性。这些挑战从根本上动摇了SDA的假设。因此,推进领域适应范式以适应现实世界的复杂性已成为一个关键的研究方向。为了解决这一范式转变,研究社区迅速转向了两个新兴领域:多领域适应(MDA),它试图充分利用多个源数据集;以及无源领域适应(SFDA),它可以在没有源领域数据的情况下适应目标领域;根据具体情况,源模型可能是以白盒形式提供,或者仅通过黑盒形式的预测提供。
尽管取得了显著进展,但在大规模数据集和复杂模型架构中,领域偏移仍然普遍存在。诸如昂贵的注释、医院间硬件差异、异构患者群体和计算限制等因素进一步凸显了DA在医学图像分析中的重要性。特别是在SDA环境中,当目标领域无法与源分布充分对齐时,模型在测试时的性能会大幅下降。同时,研究人员面临着大量文献的涌现——这些文献碎片化、术语不一致且评估协议各异。理清基本原理、理解不同方法之间的权衡以及区分真正的基础性进展和渐进式改进变得越来越困难。在这个快速创新与日益混乱的关头,一个全面而结构化的回顾不仅有益,而且至关重要。我们不是提供一个纯粹按时间顺序或方法分类的总结,而是通过将医学图像分析流程分为五个阶段来引入一个概念框架(见图1),从而为这个快速发展的领域带来秩序。在这个框架内,我们对医学图像分析中的MDA和SFDA进行了系统回顾和分析。
如图2所示,详细描述了MDA和SFDA的通用模型结构。
在深度学习的推动下,医学图像分析和DA领域取得了显著进展。近年来,大型语言模型(LLMs)[55]和特定领域的医学基础模型越来越多地被整合到DA研究中,为医学图像分析提供了新的视角和方法。许多无监督领域适应(UDA)方法开始采用大型模型作为预训练的骨干。自2023年以来,基于SAM [44]的基础模型在医学领域迅速发展,包括Medical-SAM-Adapter [93]、DeSAM [22]、MedSAM [61]、AdaptiveSAM [71]、Polyp-SAM++ [3]、SurgicalSAM [104]、SAM-Med2d [12]、SAM-Med3d [88]和MediViSTA-SAM [42]等。其中一些模型具有多模态能力。例如,TV-SAM [40]首次利用GPT-4生成描述性文本提示,改进了多模态医学成像中的零样本分割;ViLa-MIL [77]有效地将通用预训练的视觉语言模型(VLM)适应到全切片图像分类;MedM2G [106]提出了一个跨引导的扩散框架,用于统一多样化的医学图像生成任务。此外,还出现了基于大型模型的DA框架,如DDFP [102],它通过伪标签优化减少了了对标记数据的依赖;MedGemma [76]在保持强大性能的同时,实现了单GPU推理,降低了临床部署成本。
同时,医学成像数据的多样性和体积的增加使得单一模型难以满足跨领域需求,从而促进了DA技术的广泛采用。从早期的单源方法发展而来,研究扩展到了多源、无源、半监督和UDA,解决了目标数据分布不均、数据来源多样、标签稀缺和数据安全等问题。近年来,MDA和SFDA因其有效解决一般领域偏移问题而受到越来越多的关注,其发表量现已与SDA相当。
几项与医学成像领域适应相关的调查对本文特别相关。Sarafraz等人[75]从广泛的角度回顾了医学成像中的领域适应和泛化策略。Guan和Liu [26]以及Yoon等人[103]讨论了医学图像分析中的领域偏移和泛化挑战,但没有同时关注MDA和SFDA。Kumari和Singh [45]主要关注医学成像中的无监督领域适应。
如表1所示,之前的调查对理解医学成像中的领域偏移和适应做出了重要贡献,但它们通常要么关注广泛的适应设置,要么关注单一子主题。这里的比较有意集中在医学图像分析的调查上,因为本文的新颖性主张同样局限于医学MDA和SFDA,而不是更广泛的计算机视觉文献。相比之下,本文从医学图像分析的角度联合分析了MDA和SFDA,并提供了一个涵盖数据级对齐、领域感知的自适应建模、特征级对齐、参数级对齐和输出级对齐的统一组织框架。这种更有针对性和综合性的范围使我们不仅能够更系统地分类现有方法,还能够讨论它们的理论基础、在白盒和黑盒无源设置中的隐私影响,以及可解释性在临床可信应用中的作用。
为了全面覆盖这两个领域的最新进展,我们调查了大量代表性的医学MDA和SFDA研究(见图3)。我们的文献收集基于与医学成像、深度学习、多领域适应、无源领域适应、多源领域适应、图像转换和特征对齐相关的关键词。基于这些文献,本文总结了MDA和SFDA在医学图像分析中的最新进展、主要挑战和新兴方向。我们工作的主要贡献如下:
•据我们所知,本文是医学图像分析领域中首批同时关注MDA和SFDA的综述之一,采用了统一的五阶段流程分类法。此外,我们引入了一个统一的概念框架,系统地组织和分析了这两个仍在快速发展但仍然碎片化的领域。
•在此基础上,我们对最近发表的最有影响力的MDA和SFDA研究进行了批判性比较分析,涵盖了最新的进展和新兴挑战。我们汇编了每项研究中涉及的任务、器官和模态的详细信息,总结了现有方法的优点和局限性,并深入探讨了不同任务场景、数据模态和应用领域中遇到的核心挑战和瓶颈。
•最后,在MDA和SFDA的背景下,我们识别并详细阐述了几项重大挑战,提出了多个有前景的研究方向,并强调了对该领域进步至关重要的未来机遇。
**节选**
**迁移学习和领域适应**
由于目标领域数据的稀缺、注释的高成本以及源领域和目标领域之间的分布偏移,不能直接使用源领域模型来应用目标领域模型。然而,由于两个领域尽管存在差异,但往往具有内在联系,因此可以使用迁移学习将源模型适应到目标领域。作为机器学习中的关键技术,迁移学习旨在有效地转移从源领域学到的知识。
**评估指标和基准**
当前医学MDA和SFDA研究中的评估设置与任务类型和领域偏移场景密切相关。如回顾文献所总结的,分割是主要应用,而分类、检测和风格转换也在不同器官和成像模态中经常被研究。因此,大多数研究仍然主要依赖于任务驱动的性能指标,以分割为导向的评估在这个领域尤为常见。
**挑战和问题**
在系统概述了MDA和SFDA的现状后,我们现在从技术细节转向更高层次的视角。本节综合了我们的回顾中出现的跨领域主题、未解决的辩论和重大挑战。
**发展混合通用-专家范式**
一个有前景的未来方向是将强大的通用骨干与轻量级的专家适应模块结合起来,特别是在需要鲁棒性和局部适应性的场景中。混合模型为MDA和SFDA中的挑战提供了有希望的解决方案。通用模型可以提供强大的骨干,并设计多种策略——并行、渐进或动态可扩展——以应对领域间的复杂性。对于SFDA,高质量的通用骨干可以显著提高性能。
**结论**
传统的单领域适应已无法满足现代医学场景的需求,这些场景的特点是数据分布复杂且隐私约束严格。近年来,MDA和SFDA在医学成像领域取得了快速进展,在数量和方法论成熟度上逐渐赶上单领域适应。本文对MDA和SFDA技术进行了全面回顾,根据数据流和方法论重点将工作流程分为五个阶段。
**作者贡献声明**
高宇飞:撰写——审阅与编辑、资源获取、形式分析。
李振阳:撰写——审阅与编辑、方法论、形式分析、概念化。
徐静:撰写——审阅与编辑、方法论、概念化。
李青:撰写——原始草稿。
李子宇:撰写——原始草稿。
张亚萌:调查、概念化。
史磊:资源获取、资金获取。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作部分得到了中国国家自然科学基金(62006210, 62206024)、河南省医学科学技术研究合作发展计划(LHGJ20250037)、河南省研究生联合教育基地项目(YJS2023JD04)以及南阳市协同创新重点项目(22XTCX12001)的支持。