基于多阶段双模态超声影像的深度学习模型预测乳腺癌新辅助化疗疗效的研究

时间：2025年2月10日

来源：BMC Medical Imaging

编辑推荐：

为解决现有乳腺癌新辅助化疗（NAC）疗效预测方法的不足，研究人员开展了基于多阶段双模态超声影像的深度学习模型预测 NAC 疗效的研究。结果显示该模型有效且优于对比模型，对临床诊断和治疗意义重大。

在全球范围内，乳腺癌已然成为威胁女性身心健康的 “头号杀手” ，严重影响着广大女性的生活质量和生命安全。新辅助化疗（Neoadjuvant chemotherapy，NAC）作为乳腺癌治疗的重要手段，虽能帮助理解肿瘤对化疗药物的敏感性、制定更合理化疗方案，却并非对所有患者都有效，约 10 - 35% 的患者在接受 NAC 后并无显著疗效。不仅如此，那些未能从 NAC 中获益的患者，不仅要承受身体上的痛苦，还可能错失最佳手术治疗时机。因此，准确、早期地预测 NAC 的疗效，对乳腺癌患者的临床诊疗来说至关重要。

目前，病理检查虽为评估 NAC 疗效的 “金标准”，但其具有侵入性且评估时间较晚，难以满足早期评估的需求。随着医学影像技术的发展，超声、乳腺磁共振成像等检查手段在乳腺癌诊疗中发挥着重要作用。其中，超声因无放射性、经济实惠且可重复性强，成为了乳腺癌筛查的首选方法。不过，超声检查存在依赖医生操作和诊断、成像分辨率低、受噪声和伪影影响大等问题，在一定程度上影响了诊断的准确性和客观性。而深度学习技术的兴起，为解决这一难题带来了新的希望，基于卷积神经网络（Convolutional neural network，CNN）的模型开始被应用于乳腺癌 NAC 疗效的预测。

在此背景下，上海大学和上海交通大学医学院附属仁济医院的研究人员开展了一项极具意义的研究。他们提出了一种全新的卷积神经网络模型，即基于双模态分层特征融合模块（Bimodal layer-wise feature fusion module，BLFFM）和时间混合注意力模块（Temporal hybrid attention module，THAM）的 BLTA-CNN 模型，旨在利用多阶段双模态超声影像，对局部晚期乳腺癌患者的 NAC 疗效进行早期预测。该研究成果发表在《BMC Medical Imaging》上。

研究人员为开展此项研究，采用了以下关键技术方法：首先，收集了 101 例局部晚期乳腺癌患者的超声视频（包括灰度超声（Gray-scale ultrasound，GUS）和彩色多普勒血流成像（Color Doppler flow imaging，CDFI））及病理数据作为样本队列。其次，对原始超声视频进行了一系列预处理操作，如按固定帧间隔切割视频、筛选高质量图像、去除图像中的额外信息、调整图像大小等。最后，运用构建的 BLTA-CNN 模型进行实验，模型以 ResNet50 为骨干网络，将 GUS 和 CDFI 影像数据输入四分支网络，并使用 Adam 优化器、交叉熵损失函数等进行网络训练。

下面来看具体的研究结果：

不同模态超声成像数据预测效果对比：研究人员利用 ResNet50 模型，对不同阶段化疗的超声成像数据进行预测效果评估。结果发现，不同模态数据组合预测效果存在差异，其中组合在准确率、阳性预测值、阴性预测值和 F1 分数等指标上表现最佳，且双模态数据预测效果优于单模态，多阶段数据预测效果优于单阶段，这表明多阶段双模态超声数据对 NAC 疗效预测具有重要价值。
不同特征融合方法和注意力机制的影响：通过对比不同特征融合方法，发现研究提出的 BLFFM 方法性能最佳。在验证不同注意力机制的实验中，基于 CBAM 的 THAM 模块在准确率、灵敏度、阴性预测值和 F1 分数等方面取得最优结果，相较于表现第二好的 CBAM 注意力模块，F1 分数提高了 2.60%。此外，实验还表明同时使用 BLFFM、CBAM 和 TA 模块的组合，能使模型获得更好的预测性能。
与主流深度学习分类模型的性能比较：将 BLTA-CNN 模型与主流深度学习分类模型对比，结果显示 BLTA-CNN 模型在准确率（88.53%）、灵敏度（83.48%）、阳性预测值（80.15%）、阴性预测值（92.60%）和 F1 分数（81.6%）等指标上均优于其他模型，且在不同折叠数据集上表现稳定，具有较高的稳健性。

综合研究结论和讨论部分，该研究具有重要意义。研究提出的 BLTA-CNN 模型，有效解决了现有研究在特征融合和时间信息提取方面的不足。BLFFM 模块能够挖掘不同模态数据间复杂的相关性和互补特征信息，THAM 模块则增强了网络对乳腺癌肿瘤进展关键特征的理解能力。凭借该模型，医生能够在化疗早期准确预测治疗结果，及时调整化疗方案，如为化疗疗效不佳的患者更换化疗药物组合或采用其他治疗方式（如靶向治疗、免疫治疗），从而提高治疗效果，增加患者实现病理完全缓解（Pathological complete response，pCR）的可能性。同时，模型还能减少不必要的化疗周期，减轻患者身体负担和心理压力，提升患者生活质量，优化医疗资源的分配和利用。

不过，该研究也存在一定局限性。例如，研究未区分 NAC 前后数据的重要性差异，未来可通过设计多个损失函数为不同阶段和模态的数据分配特征权重；目前研究仅聚焦于多模态图像层面，后续可考虑结合代谢组学技术，实现基于多阶段跨模态的 NAC 疗效早期预测；此外，模型训练和测试过程中的图像裁剪仍需手动操作，未来可开发针对视频级数据的模型，更全面地提取患者病变特征。尽管如此，该研究依然为乳腺癌 NAC 疗效的早期预测开辟了新的道路，为临床辅助诊断和个性化治疗提供了重要的参考依据。