“A mixture-of-experts architecture achieves the strongest performance”。在三种策略中,专家混合架构脱颖而出,取得了最佳性能。在验证集上,其区分不同分子亚型的曲线下面积达到了惊人的0.98;在完全独立的测试集上,性能依旧稳健,曲线下面积为0.94。这表明该架构能最有效地协同和利用来自不同模态的互补信息。
“High-performing multimodal classifiers can be trained without paired multimodal data”。这是一个具有重大实际意义的发现。研究结果显示,即使仅使用非配对的数据(即模型从未在训练中见过同一个病人的病理和MRI图像对),所训练出的多模态分类器依然能取得优异的性能。这突破了高质量配对多模态医疗数据难以获取的瓶颈,为在实际临床场景中应用此类技术扫清了一大障碍。
“Analysis of learned representations reveals multimodal biomarkers”。通过对模型所学到的多模态表征进行深入分析,研究人员为模型的“黑箱”决策提供了可解释的窗口。他们发现,模型能够自动识别出与特定胶质瘤分子亚型(如异柠檬酸脱氢酶突变型、染色体1p/19q共缺失型等)相关的、跨模态的视觉生物标志物。例如,模型可能将病理图像中的某些细胞形态学特征与MRI图像中的特定纹理或增强模式关联起来,共同指向某一亚型。这不仅仅是一个分类工具,更是一个能够提供新生物学见解的研究平台。