基于基础模型的多模态深度学习框架FLARE在结直肠癌预后预测中的多中心研究

本研究提出名为FLARE的创新多模态深度学习框架，整合病理图像、放射影像与临床文本，有效解决模态缺失问题，在结直肠癌（CRC）生存期预测中显著优于传统模型（C-index提升4.8%-36.4%）。通过多中心验证（n=1679），证明其风险分层能力与生物学可解释性（如免疫微环境特征），为精准医疗提供可靠AI工具。

研究背景与挑战

结直肠癌（CRC）预后预测对个体化治疗至关重要，但现有方法（如AJCC/TNM分期）存在主观性强、未能整合多源信息等局限。多模态数据融合面临三大挑战：模态间异质性（病理图像超高分辨率、CT影像三维特性、文本语义差异）、临床常见模态缺失问题，以及模型可解释性不足。

FLARE框架设计创新

研究团队构建了包含1679例患者的四中心数据集（复旦肿瘤医院、中山医院、华山医院及TCGA数据库），提出FLARE（Foundation Model-powered Multimodal Deep Learning with Missing Modalities）框架。其核心创新包括：

1. 1.
   采用模态专用基础模型（病理图像用PLIP、CT影像用MedSAM、文本用BioLinkBERT）实现高效特征提取
2. 2.
   设计注意力多分支架构与互斥多样性损失函数（DL-Loss），增强特征多样性
3. 3.
   通过模态感知/缺失感知提示、可学习伪嵌入和模态级数据增强策略，有效处理缺失模态

验证结果与性能优势

在多中心验证中，FLARE在总生存期（OS）和无进展生存期（PFS）预测中均表现优异：

• •
  C-index指标：FUSCC队列OS达0.812（95% CI: 0.806-0.818），PFS达0.901（95% CI: 0.896-0.906）
• •
  风险分层能力：KM分析显示所有队列高低风险组生存差异显著（OS Log-rank^p值范围0.0014-<0.0001）
• •
  比较研究：显著超越Cox临床模型（C-index提升8.3%-36.4%）和现有多模态方法（提升4.8%-9.4%）
• •
  消融实验证实各组件贡献：缺失模态处理策略使C-index提升0.037，多分支结构提升0.014

生物学可解释性分析

1. 1.
   热图可视化：病理图像关注肿瘤浸润前沿（如浆膜侵犯区域），CT影像识别淋巴结肿大等高危特征，文本报告突出"便血"等关键术语
2. 2.
   临床因素关联：FLARE分层的高危组AJCC分期（^p=0.002）、pT分期（^p=0.009）和N分期（^p=0.005）分布显著差异
3. 3.
   免疫微环境：高危组显示静息CD4记忆T细胞比例升高（免疫抑制状态），M0巨噬细胞比例降低（免疫失衡），嗜酸性粒细胞增多（慢性炎症驱动）
4. 4.
   基因通路富集：高危组中FCγR介导的吞噬作用、细胞因子-细胞因子受体相互作用等免疫通路抑制，染色质调控通路激活，提示免疫逃逸机制

临床意义与展望

FLARE首次实现跨病理-影像-文本的三模态动态融合，其模块化架构支持扩展至其他癌种。研究局限性包括回顾性设计、缺乏基因组数据整合等，未来将通过前瞻性试验验证临床效用。该成果为多模态医学AI建立了新范式，推动肿瘤预后预测向精准化、可解释化方向发展。