高强度变形增强技术在舌下静脉曲张分割中的应用:一种基于Transformer的深度学习方法

时间:2026年1月29日
来源:European Journal of Integrative Medicine

编辑推荐:

本研究构建了301例舌下静脉曲张(SLV)影像数据库,采用Transformer架构结合高强度形变增强技术,显著提升SLV自动分割精度至69.53%,为中医舌诊客观化提供新方法。

广告
   X   

张文贤|徐伯琦|陈志杰|朱雪婷|罗伦坚|林鸿建|吴汉魁|张亨宏
中国医药大学中医学院中医研究所,台湾台中市北区学士路91号,404328

摘要

引言

舌下静脉曲张(SLV)在传统中医(TCM)和现代医学中都具有临床意义。然而,由于其观察者间的差异性,其精确界定仍然具有挑战性。SLV分布分散且形态不规则,这限制了传统卷积神经网络和数据增强方法的效果。本研究引入了结合高强度变形增强的Transformer架构,该架构在SLV分割任务中表现出提升的性能。

方法

本研究利用一家教学医院的舌部图像及其对应的诊断报告,收集了301张舌下静脉曲张图像的数据集。每张图像均手动标注了SLV,并应用了六种基于高强度变形的增强技术,包括内爆、爆炸、旋涡、弧线、波浪和桶形变形。随后训练了一个基于Mask2Former的语义分割模型,以实现SLV的自动分割。

结果

基线Mask2Former模型在使用在Cityscapes数据集上预训练的权重进行初始化时,最大交并比(IoU)为65.40%。结合这六种高强度变形增强技术后,IoU提升至66.43%。进一步训练后,IoU达到了69.53%。

结论

本研究建立了一个SLV图像数据库,并训练了一个基于Transformer的语义分割模型,有效地区分了SLV。高强度变形增强的集成提高了分割精度。这种方法有可能用于训练深度学习模型,以增强模型在医学成像任务中的可解释性和诊断性能。

引言

在传统中医(TCM)中,医生通过四种诊断方法——望、闻、问、切——来评估内脏器官、经络和气血循环的功能状态,从而推断生理和病理变化,制定治疗策略。舌诊作为望诊的关键组成部分,在临床实践中是一个不可或缺的客观诊断工具,因为它能够避免患者主诉症状的主观偏差。舌下静脉曲张(SLV)在TCM和现代医学中都是重要的客观诊断指标。根据TCM理论,这些血管异常主要归因于“血瘀”[1]。血瘀指的是血液循环受阻,与周围神经病变和妇科疾病等特定疾病相关[2,3]。1967年的一项研究表明,SLV仅仅是衰老的迹象,而非疾病的指标[4],这可能是由于当时老年人预期寿命较短且心血管死亡率较高所致。1974年和1990年的后续研究探讨了SLV与心血管疾病之间的潜在联系,但缺乏确凿的统计证据[5,6]。直到2015年,多项研究才证实了SLV与心血管疾病和高血压之间的关联[7],[8],[9],[10],[11],[12],[13],[14],[15],同时观察到下肢静脉曲张也存在类似的相关性[11,12]。2020年的一项最新研究进一步表明,肝硬化患者的SLV发病率和严重程度显著高于健康人群[16]。然而,临床医生在SLV的精确界定上仍存在观察者间差异[17]。大多数研究采用二元评估(即存在或不存在)[7],[8],[9],[10],[12],[13],[15],只有少数研究使用了三级严重程度分类[11],或基于长度、宽度或形状等参数进行更详细的形态分析[14],[18]。此外,现有的正式报告仅基于单角度的舌部图像,仅提供舌部特征的存在与否及大致位置的文字描述,缺乏精确的视觉信息。这些手动评估方法本质上具有主观性,缺乏定量精度。开发自动化的SLV分割工具有助于提高诊断的一致性和准确性,同时减少人为解释带来的变异性。
最近关于SLV图像分割的研究均采用了基于卷积神经网络(CNN)的架构[19],[20],[21],[22]。SLV分布分散且具有全局连通性,这对语义分割构成了挑战。因此,假设基于Transformer的架构[23],[24](在模拟全局上下文方面表现优异)应该比基于CNN的方法更适用于SLV分割。
模型训练前的医学图像手动标注工作既费时又费力。此外,由于医学图像资源有限,通常使用数据增强技术从原始图像生成合成变体,以增加数据集的多样性并提升模型性能。传统的增强策略包括仿射变换(如水平翻转、垂直翻转、旋转、缩放、剪切)、色彩空间调整(如亮度、对比度、饱和度调整)或cutmix操作[25]。然而,在医学图像分析中,目标区域(如肿瘤)往往具有不规则的形态,这些特征对准确识别至关重要。SLV也具有这些特性,使得传统增强策略在增加图像多样性和提高分割效果方面效果不佳。为了解决这一问题,我们在数据增强过程中加入了高强度变形技术,以提高模型的泛化能力和分割精度。据我们所知,这是早期将高强度变形增强应用于深度学习模型训练的研究。

方法

本研究已获得中国医药大学医院机构审查委员会(注册号:CMUH107-REC2-146)的批准(批准日期:2019年10月18日)。数据于2020年4月从中国医药大学医院获取,并进行了匿名分析。在数据收集前已获得所有参与者的知情同意。

结果

在标注的301张图像中,有266张包含SLV。在这些266张阳性样本中,SLV占图像总面积的0.03%至13.71%。定量分析显示,61.28%的图像包含2-5个独立的SLV区域,每张图像最多有19个区域,平均每个图像有4.83个区域,如图2所示。
为了评估高强度变形增强的综合效果,共进行了108次实验,其中包括27次结合了所有六种增强技术的实验。

讨论

SLV的诊断主要依赖于色彩特征。然而,SLV区域与非SLV区域之间的渐变色彩过渡使得手动标注时难以准确确定分类阈值,导致过渡区域内的标注不确定性较高。定量分析显示,预测准确性与SLV的总面积呈正相关。对于较大的SLV区域,核心区域占总面积的比例更大。

结论

本研究建立了一个SLV图像数据库,并引入了基于Transformer的深度学习模型进行SLV的语义分割。同时探索了在高强度变形数据增强技术(包括内爆、爆炸、旋涡、弧线、波浪和桶形变形)在医学成像中的应用,从而提高了分割性能。未来的研究将探索更多种高强度变形方法。

写作过程中生成式AI和AI辅助技术的声明

在准备本工作时,作者使用了ChatGPT、Deepseek和Gemini将中文翻译成英文并完善手稿。使用这些服务后,作者根据需要对内容进行了审核和编辑,并对发表文章的内容负全责。

作者贡献

张文贤:概念化、形式分析、研究设计、方法论、软件开发、验证、可视化、初稿撰写、审稿与编辑。徐伯琦:数据整理、资源获取、初稿撰写、审稿与编辑。陈志杰:研究设计、方法论、初稿撰写、审稿与编辑。朱雪婷:资源获取、软件开发、监督、初稿撰写、审稿与编辑。罗伦坚:数据整理。

财务支持

本研究得到了中国医药大学医院(DMR-110-010)的支持。资助方未参与研究设计、数据收集与分析、报告撰写或文章发表决策。

致谢

本研究还得到了台湾卫生福利部国家中医药研究所(MOHW114-NRICM-M-124-000002)以及台湾教育部高等教育Sprout项目下的“中国医药大学中医药研究中心”的支持(CMRC-CMA-0)。

数据可用性

支持本研究结果的数据可从中国医药大学医院研究伦理委员会获取(联系方式:irb@mail.cmuh.org.tw),但这些数据的公开使用受到限制,仅供当前研究使用。如需获取数据,需经中国医药大学医院研究伦理委员会许可(联系方式同上)。

CRediT作者贡献声明

张文贤:审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论、研究设计、概念化。徐伯琦:资源获取、数据整理。陈志杰:方法论、研究设计。朱雪婷:监督、软件开发。罗伦坚:监督、数据整理。林鸿建:资源获取、数据整理。吴汉魁:资源获取、数据整理。张亨宏:审稿与编辑、初稿撰写。

生物通微信公众号
微信
新浪微博


生物通 版权所有