研究背景
医学影像AI早已不再满足于“找得到病灶”，临床更渴望“一次性把多种疾病或风险等级都说准”。然而，真实世界给AI出了三道难题：一是“多标签耦合”，一张胸片可能同时出现肺不张、胸腔积液、心脏扩大，标签之间彼此勾连；二是“数据跷跷板”，常见病变影像堆积成山，早期癌症或罕见征象却寥寥可数；三是“信息孤岛”，影像、实验室指标、病历文本各自为政，难以形成合力。传统CNN（卷积神经网络）在局部纹理上表现优异，却对长程空间关系与跨模态关联力不从心；Transformer虽能建模全局依赖，却苦于计算昂贵且对小样本力不从心。于是，如何“让CNN的细腻与Transformer的远见同台献艺”，并把散落的临床文本、结构化指标一并请上桌，成为突破天花板的关键。
为此，Sergey Gorbachev与Abhishek Dixit团队提出“先筛选、再融合”的两阶段策略，构建混合深度学习框架MedFusionNet，并在《Communications Medicine》2026年第6卷报道其成果。
关键技术方法（≤250字）
两阶段风险分层：先以单变量阈值筛选各标签前N位判别特征，再以多变量决策树整合，实现可解释初筛。
混合并行架构MedFusionNet：CNN分支采用DenseNet提取局部纹理，Transformer分支用自注意力捕捉全局依赖，特征金字塔网络（FPN）完成多尺度融合；交叉分支交互模块（C2T/T2C）实现CNN与Transformer特征动态交换。
多模态输入：影像与对应临床文本、人口学及行为学元数据同步喂入网络，缺失值用前向填充或中位数插补。
失衡对策：类别加权focal loss、混合重采样、课程式训练（先均衡子集后全分布）。
可解释工具：Grad-CAM与层相关性传播（LRP）生成热力图，定位病灶区域。
研究结果
初始风险分层
通过离散化连续变量（年龄、性伴侣数等），为HPV、癌症等结局单独训练单变量分类树，经网格搜索确定最优阈值，再构建多变量决策树，将858例宫颈癌样本划分为低、中、高三档风险，为后续深度学习提供先验权重。
混合深度学习架构MedFusionNet
并行CNN+Transformer+FPN设计，使网络同时掌握微钙化等局部征象与心脏-肺野长程关系；交叉交互模块令CNN的底层纹理可指导Transformer关注重点，反之Transformer全局语义可调制CNN感受野，F1在ChestX-ray14提升至95.16%。
应对多标签数据失衡
采用类别加权focal loss、均衡小批采样、特征级再权重及课程式训练后，MedFusionNet对罕见标签（如疝、纤维化）召回率提升12%，整体GMean达94.32%，显著高于DenseNet121的86.23%。
数据集利用
在112120张NIH ChestX-ray14（14类胸片病变）与自建858例宫颈癌症多模态数据集上验证；后者含36维风险因子（年龄、吸烟、STD史等）及文本标注。
性能评估
MedFusionNet准确率95.35%、F-score 95.16%、GMean 94.32%，均列第一；Friedman秩和检验p<0.001，显著优于ResNet50、ConvNeXt、DeiT等对照。宫颈癌数据集上同样获得92.34%准确率，领先InceptionResNet近4个百分点。
消融实验
去除CNN分支AUC降0.063，去除ViT分支降0.044，去除TCN/注意力降0.090；三流并行才达最佳，证实互补而非冗余。
计算效率
虽单epoch耗时120s（A100 GPU），但仅需14epoch即收敛，总训练时间反而较CNN-only缩短40%，推理延迟52ms，满足临床<100ms实时需求。
可解释性分析
Grad-CAM与LRP显示，模型在肺炎预测时聚焦肺野，在胸腔积液时关注肋膈角；融合文本后，风险热力图与临床先验高度一致，增强医生信任度。
研究结论与讨论
MedFusionNet通过“单变量阈值初筛-多变量融合精判”与“CNN-Transformer-FPN并行交互”双重创新，一举破解多标签依赖、数据失衡、模态割裂三大瓶颈，在公开与自建数据集上均刷新精度纪录。其意义不仅在于数字领先，更在于提供了一条可解释、可扩展、可落地的多模态癌症风险分层路径：临床医生可在初筛阶段直观看到哪些单一指标触发警报，又能在融合阶段获得综合决策支持；算法开发者亦可借鉴其失衡策略与交互模块，迁移至MRI、CT等三维数据。未来，结合自监督预训练与3D扩展，MedFusionNet有望进一步降低对标注样本的依赖，把“高精度+高可信”的AI诊断带进更广泛的真实场景。
