MambaClinix：基于分层门控卷积和Mamba架构的U-Net模型，用于提升3D医学图像分割效果

作者：边晨源 | 陈雪

中国山东省数字医学与计算机辅助外科重点实验室，青岛大学附属医院，青岛 266000

摘要

深度学习，特别是卷积神经网络（CNN）和Transformer，在3D医学图像分割领域取得了显著进展。虽然CNN在捕捉局部特征方面非常有效，但其有限的感受野可能会影响其在复杂临床场景中的性能。相比之下，Transformer在建模长距离依赖关系方面表现出色，但计算成本较高，导致训练和部署成本增加。最近，基于状态空间模型（SSM）的Mamba架构被提出，能够在保持线性计算复杂度的同时高效地建模长距离依赖关系。然而，其在医学图像分割中的应用仍存在不足，尤其是在捕捉对准确划分临床区域至关重要的关键局部特征方面。在这项研究中，我们提出了MambaClinix，这是一种新颖的U形架构，用于医学图像分割，它将分层门控卷积网络（HGCN）与Mamba结合在一个自适应的分阶段框架中。这种设计显著提高了计算效率和高阶空间交互能力，使模型能够有效捕捉医学图像中的近端和远端关系。具体来说，我们的HGCN通过递归卷积聚合来增强高阶空间交互，提供了更广泛的有效上下文建模，同时避免了基于Transformer的自注意力通常带来的计算复杂性。此外，我们引入了一种区域特定的Tversky损失函数，以强调特定像素区域，从而提高自动分割性能，优化了模型的决策过程。在五个基准数据集上的实验结果表明，所提出的MambaClinix在保持低模型复杂度的同时实现了高分割精度。我们的代码可在以下链接获取：https://github.com/CYB08/MambaClinix-PyTorch

引言

在体积医学成像中，一个有效的分割模型应同时保留精细的局部解剖细节和捕捉长距离的空间依赖关系[1]、[2]、[3]。然而，对于具有复杂解剖变化的高分辨率3D数据来说，实现这种平衡仍然具有挑战性，现有方法往往倾向于局部细节建模或全局上下文聚合。基于CNN的模型提供了强大的局部表示能力，并保留了有用的解剖归纳偏见，但其有限的感受野使得捕捉对解释大型器官或分散病变至关重要的远距离空间依赖关系变得困难[4]、[5]、[6]、[7]。与基于CNN的方法相比，Transformer通常表现出较弱的局部归纳偏见，并且对数据规模和优化设置更为敏感，这增加了它们对大规模预训练的依赖性，尽管标注的3D医学数据相对较少[8]、[9]。因此，它们可能无法一致地保留稳定划分小型、低对比度或形态不规则目标所需的细微局部线索。此外，自注意力在体积输入上会产生大量的计算和内存开销，限制了基于Transformer的模型在3D临床应用中的实用性。

最近，Mamba及相关状态空间模型作为医学图像分割中长距离依赖关系建模的有希望的替代方案出现[10]、[11]。通过用状态空间公式替换穷举式的成对自注意力，Mamba提供了一种更可扩展的方式来在体积特征之间传播上下文信息，同时保持结构连续性。然而，大多数现有的基于Mamba的分割方法主要将Mamba作为骨干网络或全局上下文模块使用，而对编码器各阶段的不同表示需求关注较少，特别是在早期高分辨率层需要保留细节和深层需要更广泛的语义上下文聚合方面[12]、[13]、[14]。

为了解决这些限制，我们提出了MambaClinix，这是一种自适应的分阶段框架，用于3D医学图像分割，它结合了分层门控卷积（HGCN）建模和基于Mamba的长距离依赖关系建模。具体来说，HGCN用于早期编码器阶段以增强局部和高阶空间交互，而在后期阶段引入残差Mamba块来建模语义更丰富的特征上的长距离依赖关系。此外，MambaClinix继承了nnU-Net的自配置策略，并结合了区域特定的Tversky损失函数，在训练过程中强调难点子区域。

本工作的主要贡献有三个方面。首先，我们提出了MambaClinix，这是一个分阶段的混合框架，将HGCN分配到早期高分辨率阶段进行精细的局部交互建模，将残差Mamba块分配到后期低分辨率阶段进行高效的长距离依赖关系聚合，明确匹配每个阶段的表示需求。其次，我们设计了一种分层门控卷积模块，通过分层叠加聚合过程来建模高阶空间交互，该过程专为体积医学特征量身定制。第三，我们结合了区域特定的自适应Tversky损失函数，以在具有挑战性的临床场景中优化难点子区域的优化效果。在五个基准数据集上的广泛实验进一步验证了所提出框架的有效性和鲁棒性。

章节片段

相关工作

基于CNN的模型仍然是医学图像分割的强大基线，因为它们能够有效提取局部特征并保留解剖归纳偏见[15]、[16]。相比之下，尽管基于Transformer的方法在全局上下文建模方面有所改进，但它们在3D体积数据上的高计算成本、较弱的局部归纳偏见以及对大规模预训练的较强依赖性可能会限制其实际性能。为了结合这两种范式的优势，提出了如nnFormer[17]这样的混合架构

框架概述

所提出的MambaClinix架构如图1所示，采用自适应的分阶段设计，在U形框架内结合了专门的模块来提高性能。在编码器的较低阶段，我们设计了分层门控卷积网络（HGCN）模块（如图2(b)所示），通过纯卷积结构捕捉体积医学图像中的复杂空间关系。在较高阶段，残差Mamba模块（如图2(a)所示）取代了之前的模块

数据集

为了获取反映多样化和真实世界临床场景的数据，我们在青岛大学附属医院的山东省数字医学与计算机辅助外科重点实验室进行了回顾性研究。这项研究收集了2021年至2023年的三个不同数据集（PCD、LungT和LiverT）。此外，我们还使用两个公共数据集（ABD [27]和BraTs [28]）评估了MambaClinix的性能和可扩展性，这些数据集涵盖了各种疾病领域。

结论

本研究提出了MambaClinix，这是一个分阶段的3D医学图像分割框架，它结合了HGCN和Mamba模块以及区域特定的损失函数设计，旨在平衡体积医学图像中的局部细节保留和长距离依赖关系建模。从临床角度来看，MambaClinix非常适合3D自动分割工作流程，如放疗轮廓绘制、术前规划和纵向病变评估，这些流程需要精细的解剖划分和

作者贡献声明

边晨源：撰写——原始草稿、方法论、形式分析、数据整理、概念化。陈雪：撰写——审阅与编辑、方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。