RANet：一种端到端的残差感知自适应配准网络，用于超声心动图处理

超声心动图变形注册中存在低对比度、噪声和运动伪影等挑战，本文提出RANet方法，通过并行增强编码器提取多尺度特征，多头残差注意力模块聚焦结构边缘，自适应协作注意力模块平衡特征贡献，实验表明其在心室、心肌壁和左心房注册中优于现有方法。

李宇希|胡倩|林向波|李雪|董宇|林彤

大连理工大学信息与通信工程学院，中国大连，116024

摘要

超声心动图配准对于心脏疾病筛查至关重要，但低对比度、斑点噪声和运动伪影等挑战使得可变形配准任务变得复杂。目前的成果主要集中在受试者左心室运动跟踪上，而在配准狭窄且模糊的心肌壁方面仍面临困难。为了克服这些限制，我们提出了一种更通用的残差感知自适应配准网络（RANet），该网络在心室、心肌和心房等主要结构上表现出良好的性能。这一端到端框架利用并行自适应小波卷积（WTConv）-卷积神经网络（CNN）融合技术，在其并行增强编码器（PEE）中提取多尺度上的互补全局-局部特征；通过多头残差注意力（MRA）模块策略性地引导注意力到错位的结构边缘；并通过自适应协作注意力（ACA）模块整合通道-空间-上下文注意力与可学习权重，以实现抗噪声特征融合和跨层次的自适应贡献平衡。实验在三个数据集上进行了评估，结果表明RANet在准确性和鲁棒性方面均优于现有方法。

引言

可变形图像配准是医学图像分析中的关键任务，具有广泛的应用[1]、[2]、[3]。传统的配准方法（如Demons [4]、B-spline [5]、SyN [6] 和 DARTEL [7]）通常需要大量优化才能匹配相应的特征点，导致配准速度较慢。当前的深度学习方法可以自动学习特征表示并实现更快的配准速度。Voxelmorph [8] 是一种基于U-Net [9] 的创新配准方法，它利用CNN提取图像特征并通过空间变换网络（STN）[10] 生成变形场[10]。许多后续研究[11]、[12]、[13]、[14]、[15] 也采用U形卷积网络来提高配准精度。然而，由于卷积结构的限制，这些网络难以有效捕捉长距离依赖性。因此，各种Transformer模型[16]逐渐与CNN结合使用，如ViT-V-Net [17] 和 TransMorph [18]，这些模型能更好地考虑局部和全局特征。

尽管取得了显著进展，但目前大多数研究主要集中在MRI和CT等成像模式上[12]、[13]、[14]、[18]、[19]。虽然这些模式具有高分辨率和清晰的解剖结构，但在心脏领域，超声心动图具有独特优势。作为一种无创且实时的成像技术，超声心动图能够直观地显示心脏的结构和功能，对于心血管疾病筛查、鉴别诊断和预后评估至关重要。然而，由于噪声、伪影以及心脏运动的影响，超声心动图图像配准仍然是一个更具挑战性的任务。

目前，超声心动图图像配准[20]、[21] 主要关注左心室，以研究同一患者的心脏运动模式和功能变化。在实际临床研究中，评估心肌厚度和运动幅度以及心脏疾病的群体特征统计分析也很重要，但现有的配准方法在这些方面仍存在不足[20]、[21]、[22]。需要配准方法能够处理更复杂的情况，包括解剖结构差异、不同患者之间的运动模式变化、运动中的薄壁结构、模糊的边缘和噪声图像。

为了抑制这些不利因素的影响，我们提出了一种新的残差感知自适应配准模型RANet，该模型采用端到端网络拓扑结构，基于移动和固定图像的残差特征指导自适应特征提取和融合。

Transformer和CNN通常结合使用以捕获局部和全局特征[18]、[23]、[24]。然而，在超声心动图的背景下，这些方法存在两个限制：首先，Transformer中的大量参数显著增加了计算成本；其次，低对比度、斑点噪声和运动伪影干扰了传统Transformer区分实际组织变形和噪声干扰的能力，可能引入冗余的全局相关性计算。这种干扰，而非复杂的解剖结构，是超声心动图的主要挑战。在我们设计的编码阶段，基于自适应小波卷积（WTConv）[25] 的并行增强编码器（PEE）和普通CNN被构建出来，以自适应地提取多尺度的全局和局部特征，同时保持参数数量较少。然后通过多头残差注意力（MRA）模块引导网络关注需要对准的特定区域，该模块利用移动和固定图像的深度残差特征。这对于心肌壁和左心房的配准特别有益。此外，在编解码器的跳过连接中引入了自适应协作注意力（ACA），使网络能够关注重要特征，过滤掉背景和噪声等无关信息，并在融合不同尺度的特征时自适应地学习最佳权重。

总结如下：

• •
  在这种端到端的RANet架构中，PEE模块使用自适应WTConv和CNN并行提取多尺度的全局和局部特征。
• •
  我们提出了MRA模块，利用残差特征引导网络针对不同结构边缘之间图像对的不匹配区域进行有针对性的配准。
• •
  我们提出了ACA模块，它在跳过连接中整合了通道-空间-上下文渐进式注意力和可学习权重，从而动态平衡多尺度特征对配准的贡献，集中关注关键特征，并阻挡噪声干扰。

部分摘录

多级可变形配准网络

为了更好地处理大的变形或复杂情况，许多近期研究采用了从粗到细的多阶段或多尺度策略。AMNet [26] 使用3D离散小波变换，从多级小波子带中学习变形场。SEN-FCB [27] 使用由独立编码网络和折叠校正块组成的双网络来实现高精度和减少变形场的折叠。DNVF [28] 使用多层感知器（MLP）和正弦波

概述

图1展示了RANet的总体框架，它是一个端到端的配准网络。给定一对固定图像$I_f$和移动图像$I_m$，RANet旨在找到两张图像之间的空间对应关系，生成最终的变形场$\varphi$。将$\varphi$应用于$I_m$，变形后的移动图像$I_{w_m}=I_m\circ \varphi$与$I_f$在空间上对齐。以$I_f$和它们的残差$I_{r\mathrm{es}}$作为输入，$I_f$和$I_m$通过并行增强编码器（PEE）和多头残差

数据集和预处理

为了验证RANet的有效性，我们在三个数据集上进行了实验。

CAMUS：该数据集[45]包含500名患者的连续超声图像，包括舒张期（ED）和收缩期（ES）的图像，以及心尖两腔（2CH）和心尖四腔（4CH）视图。它还提供了三种解剖结构的分割掩膜：左心室（LV）、左心房（LA）和心肌壁（MYO）。在实验中，我们分别评估了2CH和4CH图像。

结论

我们提出了一种新的可变形配准方法RANet，通过统一的框架实现了超声心动图的准确和鲁棒配准。在编码阶段，PEE模块并行结合了自适应WTConv和标准CNN，能够直接从输入图像对中同时提取互补的多尺度全局和局部特征。这种并行架构为后续的配准步骤提供了更丰富和更具区分性的特征基础。

CRediT作者贡献声明

李宇希：撰写——原始草案、可视化、方法论、验证、数据管理。胡倩：撰写——审稿与编辑、资金获取、数据管理。林向波：撰写——审稿与编辑、监督、项目管理、方法论、概念化。李雪：方法论、数据管理。董宇：数据管理。林彤：数据管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

资助：本工作得到了大连市中心医院大连医学重点专科“巅峰计划”研究项目基金会 [资助编号 2022ZZ304]和大连医学科学研究项目 [资助编号 2211005]的支持。