基于病理学与放射学基础模型融合的多模态框架助力WHO 2021胶质瘤分子分型

时间:2026年3月14日
来源:npj Precision Oncology

编辑推荐:

本文聚焦胶质瘤分子分型这一临床常规但极具挑战的任务。为解决单模态图像(病理或影像)分型困难,研究人员融合组织病理学与多参数磁共振成像(MRI),利用基础模型构建了多模态分类框架,评估了三种融合策略。模型在未配对的772例组织病理和959例多参数MRI数据集上训练,并在171例未见过的患者匹配病例上测试。结果表明,多模态模型性能始终优于单模态模型,其中专家混合架构表现最强(验证集AUC=0.98;独立测试集AUC=0.94)。研究证实,即便没有成对的多模态数据,也能训练出高性能多模态分类器。模型所学的多模态表征揭示了与胶质瘤分子亚型相关的视觉生物标志物,为决策过程提供了可解释的洞察。

广告
   X   

在脑肿瘤的诊疗领域,胶质瘤是最常见且极具侵袭性的原发性脑肿瘤。传统的诊断和分型高度依赖病理医生的镜下观察和分子检测,但这些方法往往耗时、有创,且对医疗资源有较高要求。与此同时,磁共振成像(MRI)等影像学检查虽能无创地观察肿瘤的宏观形态和生理特征,但在精确的分子亚型判断上常显得力不从心。临床实践面临着一个核心难题:无论是单独依靠“显微镜下”的病理切片,还是单独依靠“影像照片”,都难以对胶质瘤进行精准的分子分型,而这恰恰是世界卫生组织(WHO)2021年中枢神经系统肿瘤分类标准所强调的核心,直接关系到患者的治疗方案选择和预后评估。是否存在一条路径,能够将病理的微观细节与影像的宏观信息强强联合,让计算机模型学会像经验丰富的多学科团队一样“看图识瘤”呢?
为了回答这个问题,一组研究人员开展了一项开创性的研究,旨在开发一个能够整合组织病理学和MRI图像的多模态人工智能框架,以实现精准、可解释的胶质瘤WHO 2021分子亚型分类。这项研究发表于《npj Precision Oncology》。研究人员巧妙地将当前人工智能领域的“基础模型”概念引入医疗图像分析,将其分别作为处理病理图像和MRI图像的“单模态专家”。他们面对的现实挑战是,临床上同时具备高质量配对的病理切片和MRI图像的病例数据非常稀缺。因此,研究团队创新性地采用了“非配对”数据集进行模型训练,即模型分别从772例独立的组织病理学案例和959例独立的多参数MRI扫描中学习各自模态的特征,而无需确保每个患者同时拥有两种模态的数据。最终,他们在171例全新的、患者匹配的(即同时拥有两种模态数据的)病例上对模型进行了严格的独立测试。
在技术方法层面,本研究的关键在于构建和比较多模态融合策略。研究人员以在大型自然图像数据集上预训练的视觉基础模型(如DINOv2)作为骨干网络,分别初始化了处理组织病理全切片图像和T2加权、T1加权、T1加权钆增强、液体衰减反转恢复序列等多参数MRI图像的编码器。随后,他们系统评估了三种融合来自不同模态信息的架构:晚期融合、早期融合以及专家混合架构。模型训练在两个非配对的数据集上进行,并通过一个独立的、患者匹配的测试集(n=171)进行评估,主要性能指标为受试者工作特征曲线下面积。
研究结果通过系统的实验和多角度分析得以呈现。
“Multimodal models consistently outperform unimodal baselines”。这是最核心的发现。无论采用哪种融合策略,融合了病理和MRI信息的多模态模型,其分类性能都稳定地超越了仅使用单一模态(纯病理或纯MRI)的基准模型。这有力地证明了整合多模态信息对于提升胶质瘤分子分型准确性的巨大价值。
“A mixture-of-experts architecture achieves the strongest performance”。在三种策略中,专家混合架构脱颖而出,取得了最佳性能。在验证集上,其区分不同分子亚型的曲线下面积达到了惊人的0.98;在完全独立的测试集上,性能依旧稳健,曲线下面积为0.94。这表明该架构能最有效地协同和利用来自不同模态的互补信息。
“High-performing multimodal classifiers can be trained without paired multimodal data”。这是一个具有重大实际意义的发现。研究结果显示,即使仅使用非配对的数据(即模型从未在训练中见过同一个病人的病理和MRI图像对),所训练出的多模态分类器依然能取得优异的性能。这突破了高质量配对多模态医疗数据难以获取的瓶颈,为在实际临床场景中应用此类技术扫清了一大障碍。
“Analysis of learned representations reveals multimodal biomarkers”。通过对模型所学到的多模态表征进行深入分析,研究人员为模型的“黑箱”决策提供了可解释的窗口。他们发现,模型能够自动识别出与特定胶质瘤分子亚型(如异柠檬酸脱氢酶突变型、染色体1p/19q共缺失型等)相关的、跨模态的视觉生物标志物。例如,模型可能将病理图像中的某些细胞形态学特征与MRI图像中的特定纹理或增强模式关联起来,共同指向某一亚型。这不仅仅是一个分类工具,更是一个能够提供新生物学见解的研究平台。
综上所述,本研究成功地开发并验证了一个基于基础模型的多模态融合框架,用于胶质瘤的WHO 2021分子亚型分类。其核心结论在于,融合组织病理学和MRI信息能显著提升分类精度,其中专家混合架构最为有效;更重要的是,该框架无需配对的多模态数据即可训练,极大提升了其临床适用性。此外,模型所揭示的多模态视觉生物标志物,为理解不同分子亚型在微观和宏观图像上的表现提供了可解释的洞察。这项研究的意义重大,它不仅为胶质瘤的精准、无创或微创辅助诊断提供了强有力的新工具,其“非配对数据训练”范式也为解决其他医学领域多模态数据融合的普遍难题提供了创新思路,推动了可解释人工智能在临床决策支持中的实际应用。

生物通微信公众号
微信
新浪微博


生物通 版权所有