为了攻克这些难题,来自复旦大学附属金山医院、云南省第一人民医院、昆明医科大学第三附属医院、重庆医科大学附属第一医院等多家国内机构的研究人员携手开展研究。他们构建了一个通用的 Foundation model 驱动的多模态模型(FoMu 模型),结合临床、MRI 和病理数据,评估 HGSOC 患者的预后。研究成果发表在《npj Precision Oncology》杂志上。
在这项研究中,研究人员运用了多个关键技术方法。首先,进行回顾性队列研究,收集了四个中心 712 例符合条件患者的临床、MRI 和病理数据。其次,利用预训练的放射学和病理学 Foundation model 进行特征预编码,如 MedSAM 和 CONCH 模型。然后,构建基于注意力机制的单模态和跨模态自适应聚合网络,融合多模态特征,最后通过生存预测网络和损失函数进行预后预测。
不同模型的 C 指数评估结果显示,单模态和跨模态的 FoMu 模型在内部验证队列和多个外部测试队列中,对 OS 和 PFS 的预测表现优异。在模态完整的外部测试队列 A 中,跨模态的 “FoMu_Clinic+MRI + WSI” 模型 C 指数最高;在缺少病理模态的外部测试队列 B 和 C 中,“FoMu_Clinic +MRI” 模型表现最佳,均优于预测水平融合(PLF)模型。
FoMu 模型的时间依赖性受试者工作特征曲线(ROC)分析表明,在不同队列中,该模型预测 OS 和 PFS 的曲线下面积(AUROC)范围较广,在内部验证队列、外部测试队列 A、B 和 C 中,均展现出强大的预测性能。