基于学习的变形鲁棒关键点描述符框架Stretcher

时间:2026年5月28日
来源:International Journal of Computer Assisted Radiology and Surgery

编辑推荐:

目的:基于关键点的跟踪与导航是众多图像引导手术系统的核心,但其可靠性在存在软组织变形(常见于肝脏手术等操作)时会显著下降。现有关键点描述符在面对大范围仿射及非刚性变换时常难以保持稳定。本研究引入Stretcher,一个旨在提升用于手术跟踪与导航的关键点描述符变

广告
   X   

目的:基于关键点的跟踪与导航是众多图像引导手术系统的核心,但其可靠性在存在软组织变形(常见于肝脏手术等操作)时会显著下降。现有关键点描述符在面对大范围仿射及非刚性变换时常难以保持稳定。本研究引入Stretcher,一个旨在提升用于手术跟踪与导航的关键点描述符变形鲁棒性的框架。方法:Stretcher并未直接跨变形图像匹配关键点描述符,而是学习一个神经模型(neural model),该模型显式捕捉仿射变形对描述符表示的影响。在推理阶段,通过模拟一系列仿射变换网格,并利用所学模型高效地调整关键点描述符,从而避免了冗余的描述符重新计算。这使得在变形条件下实现稳健的描述符自适应成为可能,同时保持了计算效率。结果:Stretcher在展现大组织变形的肝脏手术图像上进行了评估。实验结果表明,所提方法提高了高度变形区域内的关键点匹配鲁棒性。在所有评估场景中,Stretcher在保持最先进精度的同时,与现有基于描述符的方法相比,提供了更高的匹配准确率,尤其是在变形严重的区域。结论:通过显式建模仿射变形对关键点描述符的影响,Stretcher使得在复杂组织运动下实现可靠的关键点匹配成为可能。所提框架在具有挑战性的手术场景中提升了鲁棒性,且未牺牲效率,使其非常适用于易发生变形的术中跟踪与导航任务。
Stretcher框架旨在通过在潜空间直接变换描述符,来提升局部手术组织变形下关键点匹配的鲁棒性。该框架通过建模局部仿射变形对描述符表示的影响,实现了变形感知的匹配,而无需重复进行特征提取,并完全兼容现有的匹配流水线。

在图像引导手术中,基于关键点的跟踪与导航依赖于准确的特征对应。然而,手术过程中由器械牵拉、切割和组织交互引起的软组织形变,常常破坏了刚性或全局仿射运动的假设,导致传统关键点描述符(如SIFT)及部分基于学习的描述符(如SuperPoint)的可靠性急剧下降。测试时增强(test-time augmentation)虽能部分缓解此问题,但需要对每个变形假设重复进行特征提取,计算成本高昂,难以满足实时性要求。

为此,研究人员提出了Stretcher框架。其核心思想是,不直接在图像空间处理变形,而是学习如何在描述符的潜空间(latent space)中变换关键点描述符,以模拟局部仿射应变(affine strain)对其的影响。该框架将局部组织变形参数化为水平应变(σx)、垂直应变(σy)和剪切应变(σxy)。为提高在大变形下的旋转鲁棒性,采用了共旋转应变(co-rotated strain)公式。Stretcher网络由三个轻量级多层感知机(MLPs)组成,每个感知机分别建模一个应变分量对描述符的影响,并将输出以残差形式叠加到原始描述符上。网络使用均方误差(MSE)损失进行训练,目标是根据未变形图像的描述符和对应的应变参数,预测变形后图像的描述符。

训练数据来自Cholec80腹腔镜手术数据集,研究人员排除了肝脏手术序列用于评估,并通过向真实手术图像施加可控的仿射变形来生成训练所需的监督对。骨干网络采用了SuperPoint描述符。分析表明,Stretcher能显著提升大变形条件下描述符的余弦相似度,且对于小变形引入的改变极小,说明其学习到的变换具有选择性。

研究人员在合成变形和真实手术变形图像上评估了Stretcher。在合成变形肝脏图像上的定量评估显示,与DISK、ALIKED、SuperPoint等描述符结合Dual Softmax或LightGlue匹配器的流水线相比,Stretcher在最高应变区域实现了最佳的精确度(precision)和应变平衡精确度(strain-balanced precision,SBP),表明其在变形区域保持了可靠的对应关系,且匹配点在不同变形程度区域的分布更为均衡。定性可视化也证实,Stretcher生成的正确匹配点在弹性变形强的区域分布更均匀。

在真实手术变形评估中,研究人员使用了变形猪肝的图像对。由于缺乏密集的真值对应,他们分析了匹配数量与空间分布。结果显示,相比基线SuperPoint + LightGlue流水线(获得262个匹配,其中57个位于肝脏表面),Stretcher产生了500个匹配,其中181个位于肝脏表面,且在器官表面分布更为均匀。

研究结论认为,通过显式建模局部仿射变形对关键点描述符的影响,Stretcher能够在复杂组织运动下实现可靠的关键点匹配。该框架在提升具有挑战性的手术场景中的鲁棒性方面效果显著,且未牺牲效率,因此非常适合用于易发生变形的术中跟踪与导航任务。未来工作将集中在更大规模、更多样化的真实手术数据上进行验证,并探索更丰富的变形模型以进一步提升复杂术中场景下的鲁棒性。

生物通微信公众号
微信
新浪微博


生物通 版权所有