编辑推荐:
本研究针对超声医学图像分割中的域偏移问题,提出原型银行驱动的测试时间自适应框架PBTTA,通过动态统计融合模块和原型银行语义适应模块实现跨域迁移,无需源域数据或标签,有效抑制灾难性遗忘,在乳腺和甲状腺肿瘤分割任务中平均提升Dice系数15.04%和8.88%。
深度学习在医学图像分割领域取得了显著的成功,尤其是在超声成像方面,深度神经网络的表现几乎达到了专家水平。然而,这些模型通常假设训练数据和测试数据遵循相同的分布——这一假设在现实世界的临床实践中往往不成立,因为成像设备、采集协议和操作技术的差异会导致领域偏移(domain shift)。这些差异会显著降低模型的性能。现有的解决方案(如监督式微调、无监督领域适应和领域泛化)要么需要成本高昂的标记数据,要么需要访问源领域数据,从而限制了它们的可扩展性和临床应用性。
为了解决现实世界超声图像分割中的领域偏移问题,本研究提出了一种测试时适应(Test-Time Adaptation, TTA)框架,该框架无需源数据或目标标签,同时能够有效抵御分布漂移和灾难性遗忘(catastrophic forgetting)。
我们提出了原型库驱动的测试时适应(Prototype Bank-Driven Test-Time Adaptation, PBTTA)框架,该框架包含两个关键模块:(1)动态统计融合模块(Dynamic Statistics Fusion Module, DSFM),通过使用来自测试样本和源领域的融合统计数据动态调整批量归一化层来实现领域级别的适应;(2)原型库引导的语义适应模块(Prototype Bank-Guided Semantic Adaptation Module, PBSAM),为每个语义类别维护一个动态原型库以支持语义级别的适应。PBTTA采用双分类器策略,结合了基于原型的分类器和基于参数的分类器,以实现稳定的语义指导和灵活的决策。值得注意的是,PBTTA在测试时适应阶段不需要反向传播来更新模型参数,从而确保了适应过程的高效率和稳定性。
PBTTA在超声乳腺和甲状腺肿瘤分割任务中均取得了领先性能。与非适应性基线相比,它将乳腺肿瘤分割的Dice分数平均提高了15.04%(达到64.82%),甲状腺肿瘤分割的Dice分数提高了8.88%(达到57.45%)。此外,PBTTA在连续的领域偏移下表现出优异的鲁棒性,并能有效缓解灾难性遗忘现象。
作者声明他们与本工作不存在任何利益冲突。
生物通 版权所有