一种可解释的多模态模型整合临床特征、光谱CT成像及瘤内与瘤周区域深度学习分析用于胃癌神经周围侵犯的术前预测：一项前瞻性、多中心研究

目的：神经周围侵犯(Perineural Invasion, PNI)对胃癌风险分层与治疗规划至关重要。本研究旨在开发一种新型多模态模型，用于术前预测胃癌PNI状态。方法：研究人员前瞻性、多中心纳入经病理确诊的250例胃癌患者，划分为训练队列(n=138)、内部验证队列(n=59)及外部验证队列(n=53)。利用GSI Viewer软件获取瘤内与瘤周区域的光谱CT参数，基于ResNet-50架构提取深度学习特征，并通过单因素及多因素回归分析筛选临床特征。基于机器学习，研究人员分别构建了光谱参数模型、深度学习特征模型、临床预测模型及多模态融合模型(Multimodal Fusion Model, MFM)。采用校准曲线、受试者工作特征(Receiver Operating Characteristic, ROC)曲线及决策曲线分析(Decision Curve Analysis, DCA)评估模型预测效能，并应用沙普利加性解释(Shapley Additive exPlanations, SHAP)实现模型可解释性。结果：相较于单一模型，MFM展现出最优预测性能，其在训练队列、内部验证队列及外部验证队列中的曲线下面积(Area Under the Curve, AUC)值分别为0.926、0.885及0.871。DCA证实MFM在广泛阈值概率范围内提供更优净获益。校准曲线显示MFM具有更佳预测一致性，霍斯默-莱梅肖(Hosmer–Lemeshow)检验表明各队列拟合良好(所有p值>0.05)。SH<0>AP有效阐释了模型的决策过程。结论：这种整合临床特征、光谱CT参数及瘤内与瘤周深度学习特征的新型多模态融合模型，在术前预测胃癌PNI方面表现出卓越性能。

该研究发表于《Computerized Medical Imaging and Graphics》。胃癌是全球高发恶性肿瘤，多数患者确诊时已属晚期，术后五年生存率较低。神经周围侵犯(PNI)是肿瘤沿神经扩散的侵袭性特征，被公认为胃癌复发、腹膜转移的独立危险因素，并与不良预后显著相关。PNI状态不仅是内镜切除后肿瘤残留的关键指标，也是指导新辅助化疗及辅助治疗的重要参考。然而，目前PNI诊断完全依赖术后病理检查，严重限制了其在术前分期中的应用，尤其是对于无法直接手术的局部晚期或转移性胃癌患者。虽然现有指南推荐CT用于术前评估，但常规CT受限于空间分辨率和定量参数不足，预测PNI的效能欠佳，既往研究AUC值仅介于0.482至0.754之间。光谱CT虽将成像从形态学提升至功能与分子层面，但既往相关研究多为单中心回顾性设计，光谱参数覆盖有限，且仅关注瘤内特征而忽略了瘤周信息。同时，尽管深度学习在医学影像分析中前景广阔，但在胃癌PNI预测领域的应用尚属空白。鉴于慢性炎症及临床变量在胃癌进展中的作用，整合临床数据、光谱CT定量参数与深度学习特征成为提升预测精度的潜在途径。为此，研究人员开展了一项前瞻性、多中心研究，旨在开发一种可解释的精准预测模型。

研究人员采用了几项关键技术方法。研究前瞻性纳入2020年1月至2024年12月多中心的1033例胃癌患者，最终筛选出250例纳入分析。利用GSI Viewer软件提取瘤内及瘤周的光谱CT参数，基于ResNet-50架构结合迁移学习提取深度学习特征，并通过统计学回归筛选临床特征。随后采用机器学习策略构建并融合了光谱参数模型、深度学习模型、临床模型及多模态融合模型(MFM)。模型评估采用受试者工作特征曲线、校准曲线及决策曲线分析，并利用沙普利加性解释(SHAP)方法对模型决策逻辑进行可视化与量化解析。

研究结果如下：

Clinicopathological Characteristics of the Patients

经过严格筛选，250例患者被分为训练队列(n=137)、内部验证队列(n=59)和外部验证队列(n=53)。统计分析显示三组患者在年龄、性别比等基线特征上无统计学差异，保证了队列的同质性与可比性。

Discussion

讨论部分指出，该研究创新性地结合了瘤内与瘤周区域的分析，打破了以往仅关注瘤内的局限。通过整合临床特征、丰富的光谱CT参数及高维深度学习特征，MFM实现了对PNI状态的精准无创预测。SHAP分析进一步揭示了各特征对预测结果的贡献度，增强了模型在临床应用中的可信度。

Conclusion

研究结论表明，研究人员成功构建了一种多模态融合模型，该模型有机整合了临床特征、光谱CT参数以及源自瘤内与瘤周区域的深度学习特征。这一多模态融合模型为胃癌PNI的术前预测提供了一种无创、精准且具有成本效益的新途径，有望优化个体化治疗策略并提升胃癌的精准疾病管理水平。

Funding

本研究得到了国家自然科学基金及福建省自然科学基金等项目的资助。

CRediT authorship contribution statement

详细列出了Deye Zeng、Yaru You、Caiming Weng、Weixing Li、Yilin Chen、Lin Lin及Haiping Xu等作者的具体贡献分工，涵盖可视化、方法论、数据管理、软件编写及项目监督等方面。

Declaration of Competing Interest

作者声明不存在相关的财务或非财务利益冲突。