一种基于深度学习的多模态数据融合算法，用于预测与检查点抑制剂相关的肺炎

CIP诊断中基于跨模态注意力机制的MMCA-Net模型，融合CT影像、电子病历和生理数据，通过分阶段特征提取与融合实现高精度预测（平均准确率87.12%，AUC 0.8981），显著优于单模态方法。

金云成|郑静|孙斌|傅凯迪|曲静静|任晨毅|王婷|甘云翠|吴炳根|金新宇|周建雅

中国吉利学院信息工程学院，中国杭州310003

摘要

背景与目标

由于在检查点抑制剂相关肺炎（CIP）的诊断和治疗中未能充分利用先进的深度学习技术，本研究提出了一种基于多模态数据融合的CIP预测算法。

方法

具体而言，该算法利用患者的计算机断层扫描（CT）影像、电子病历和生理检查报告构建了一个模型。首先开发了特征提取模块来处理每种数据模式。随后，使用交叉注意力方法融合多模态特征。最后，将这些特征输入分类器进行分类。

结果

实验结果表明，多模态交叉注意力网络（MMCA-Net）的性能显著优于单模态模型和传统的融合方法。在10折患者级交叉验证中，所提出的模型平均准确率为87.12%（±0.83%），曲线下面积（AUC）为0.8981（±0.007）。此外，该算法具有出色的可重复性，在独立复制试验中的性能偏差小于0.2%。对注意力权重的定量分析证实，该模型有效整合了临床背景，以解决模糊的放射学图像问题。

结论

所提出的基于深度学习的多模态方法为预测CIP提供了一个稳定且高度准确的工具。通过整合影像、文本数据和实验室结果，MMCA-Net为医生提供了有价值的临床参考，有助于提高癌症免疫治疗中的患者安全性和治疗效果。

引言

检查点抑制剂相关肺炎（CIP）是免疫检查点抑制剂（ICI）治疗中常见且可能危及生命的不良反应。在现实世界中，CIP的发病率可高达19%，且其发病时间难以预测[1]。因此，在整个临床诊断和治疗过程中保持对CIP发生的警惕并立即采取干预措施至关重要。鉴于CIP缺乏典型的临床症状和影像特征[2]，临床诊断不仅需要考虑患者的影像发现、ICI使用历史和症状表现，还需要整合实验室和生理测试结果，以排除其他肺部疾病，如间质性肺病（ILD）、肺部感染和肺栓塞[3]。这种复杂的评估在很大程度上依赖于医生的临床经验，而这具有主观性，容易导致误诊和漏诊。在与合作医院的专家合作下，本研究探索了使用多模态数据（包括计算机断层扫描（CT）图像、电子病历（EMRs）和生理测试报告）来诊断CIP的方法。这种方法符合医生常用的临床实践，可能在降低误诊和漏诊率方面具有重要意义，最终改善患者的生存结果。

在CIP患者的临床诊断和治疗过程中，会产生大量复杂的医疗数据，包括影像数据、病历文本和实验室生理指标。基于深度学习的多模态医疗数据融合可以有效提取和整合不同模态的特征，从而提高临床诊断和评估的准确性。Liu等人[4]提出了一种基于图注意力网络（GAT）的多模态融合网络，使用独热编码和全连接层处理胃癌患者的临床数据和基因表达数据以获得特征表示。然后他们使用残差网络（ResNet）从医学图像中提取特征，并通过GAT融合多模态数据。Khan等人[5]引入了一种基于Transformer的双流模型，首先使用Transformer表示图像，然后采用单步自回归文本生成方法。文本和图像表示被连接起来，并输入到基于BERT的多模态自注意力层中进行模态间特征融合。Vision-and-language Transformer（ViLT）[6]使用多模态自注意力机制融合图像和文本特征，随后通过多层感知器（MLP）层映射融合后的嵌入向量，从而增强特征的表现力。Integrated Representation Learning for Embedding of Non-textual Evidence（IRENE）[7]提出了一种统一的多模态学习表示模型，用于临床疾病诊断，以肺部图像和临床文本作为多模态输入。它引入了双向多模态注意力机制来揭示不同编码模态之间的相互依赖性。目前，尚无基于深度学习的多模态数据融合方法应用于CIP的预测和诊断。不同的数据模态具有不同的特征表示和分布特性，这可能会抑制从每个模态中有效提取信息，并导致特征融合过程中关键数据的丢失。因此，整合多模态数据用于CIP预测面临重大挑战。

我们的主要贡献可以总结如下：（1）我们提出了一种针对CIP预测的新型多模态交叉注意力网络（MMCA-Net）。与传统黑盒连接方法不同，MMCA-Net明确地对成像和临床序列之间的依赖性进行了建模，使用成对交叉注意力；（2）我们提供了一个高质量的临床数据集，具有经过专家验证的标签和标准化的纳入/排除标准；（3）通过分析模态间的注意力权重，我们揭示了不同类型临床数据（例如CT与文本数据与实验室结果）如何协同作用于最终诊断。

数据收集

这项回顾性研究使用了2021年1月至2023年12月在浙江大学第一附属医院接受ICI治疗的患者的数据。研究方案已获得医院机构审查委员会（IRB批准号IIT20230250B）的审查和批准，由于数据分析的回顾性和匿名性，因此免除了知情同意的要求。

纳入标准如下：（1）患者年龄≥18岁；（2）

数据集和预处理

实验中使用的数据集来自合作医院，包括CT图像、电子病历文本和生理测试报告数据。去标识化后，诊断结果由医院专家进行标注。该数据集包含261例被诊断为CIP的病例和292例被诊断为非CIP肺炎的病例。大多数非CIP患者被诊断为其他肺部疾病，如肺癌和肺结节。

结论

CIP通常表现出非特异性临床表现，这使得鉴别诊断变得复杂，需要整合多模态数据进行综合分析。仅依赖手动判断具有高度主观性，增加了误诊和漏诊的风险。在这项研究中，我们提出了MMCA-Net，这是一种多模态交叉注意力网络，它将CT图像的深度放射学特征与结构化的临床背景相结合

CRediT作者贡献声明

金云成：写作——审阅与编辑、撰写初稿、可视化、监督、项目管理、方法论、调查、正式分析、数据管理。郑静：写作——审阅与编辑、撰写初稿、可视化、监督、项目管理、方法论、调查、正式分析、数据管理。孙斌：。傅凯迪：撰写初稿、验证、方法论、调查、正式分析、数据管理。曲静静：写作——

资助

本工作得到了浙江省重点研发计划（编号2023C03069、2025C02092、2025C02094）的支持。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。

致谢

我们感谢所有参与这项研究的患者。