Nature：斯坦福大学医学院设计的独特人工智能可以预测癌症预后和治疗反应

时间：2025年1月14日

来源：AAAS

编辑推荐：

斯坦福大学医学院开发了一种新的人工智能工具，将医学图像数据与文本结合起来，预测癌症预后和治疗反应。

视觉信息（例如显微镜和x射线图像，CT和MRI扫描）与文本（检查笔记，不同专业医生之间的交流）的融合是癌症治疗的关键组成部分。但是，尽管人工智能可以帮助医生检查图像，并关注与疾病相关的异常，如异常形状的细胞，但开发可以包含多种类型数据的计算机化模型一直很困难。

现在，斯坦福大学医学院的研究人员已经开发出一种能够结合视觉和语言信息的人工智能模型。在对5000万张标准病理切片的医学图像和超过10亿份病理相关文本进行训练后，该模型在预测数千名不同类型癌症患者的预后、识别哪些肺癌或胃食道癌患者可能从免疫疗法中受益、以及确定哪些黑色素瘤患者最有可能经历癌症复发等方面的能力优于标准方法。

研究人员将该模型命名为MUSK，即采用统一掩模建模的多模态变压器。马斯克代表了人工智能目前在临床护理环境中的使用方式的明显偏离，研究人员认为，它将改变人工智能指导患者护理的方式。

放射肿瘤学副教授Ruijiang Li博士说：“MUSK可以准确预测许多不同类型和阶段癌症患者的预后。”“我们设计MUSK的原因是，在临床实践中，医生从来不会仅仅依靠一种类型的数据来做出临床决策。我们希望利用多种类型的数据来获得更多的见解，并对患者的结果进行更精确的预测。”

李是斯坦福癌症研究所的成员，也是该研究的资深作者，该研究发表在1月8日的《自然》杂志上。博士后Jinxi Xiang和Xiyue Wang是本研究的主要作者。

尽管人工智能工具在临床中的应用越来越多，但它们主要用于诊断（这张显微镜图像或扫描是否显示出癌症的迹象？），而不是用于预后（这个人可能的临床结果是什么，哪种治疗方法对个人最有效？）。

部分挑战是需要在大量标记数据（例如，这是带有癌性肿瘤的肺组织切片的显微镜载玻片）和配对数据（这里是获得肿瘤的患者的临床记录）上训练模型。但是精心策划和注释的数据集很难获得。

现成的工具

在人工智能领域，马斯克是所谓的基础模型。在大量数据上预训练的基础模型可以通过额外的训练来定制，以执行特定的任务。由于研究人员将MUSK设计为使用不符合训练人工智能传统要求的未配对多模态数据，因此计算机在初始训练期间可用于“学习”的数据池扩展了几个数量级。有了这个良好的开端，任何后续的训练都可以用更小、更专业的数据集来完成。实际上，马斯克是一个现成的工具，医生可以对其进行微调，以帮助回答特定的临床问题。

“最大的未满足的临床需求是医生可以用来指导患者治疗的模型，这个病人需要这种药吗？”或者我们应该转而关注另一种治疗方法？目前，医生使用疾病分期和特定基因或蛋白质等信息来做出这些决定，但这并不总是准确的。”

研究人员从国家癌症基因组图谱数据库中收集了16种主要癌症的显微切片、相关病理报告和随访数据（包括患者的表现），包括乳腺癌、肺癌、结肠直肠癌、胰腺癌、肾癌、膀胱癌、头颈癌。他们利用这些信息训练马斯克预测特定疾病的存活率，或者在特定时间段内没有死于特定疾病的人的百分比。

对于所有类型的癌症，马斯克在75%的情况下准确地预测了患者的疾病特异性生存。相比之下，基于一个人的癌症阶段和其他临床风险因素的标准预测在64%的情况下是正确的。

在另一个例子中，研究人员训练马斯克使用数千位信息来预测哪些肺癌、胃癌和食管癌患者最有可能从免疫治疗中受益。

“目前，是否给病人一种特定类型的免疫疗法的主要决定取决于这个人的肿瘤是否表达一种叫做PD-L1的蛋白质，”Li说。“这是一种仅由一种蛋白质组成的生物标志物。相比之下，如果我们可以使用人工智能来评估数百或数千位的多种类型的数据，包括组织成像，以及患者人口统计、病史、过去的治疗和从临床记录中收集的实验室测试，我们就可以更准确地确定谁可能受益。”

对于非小细胞肺癌，MUSK在77%的情况下正确识别出受益于免疫治疗的患者。相比之下，基于PD-L1表达预测免疫治疗反应的标准方法只有61%的正确率。

当研究人员训练MUSK识别哪些黑色素瘤患者在最初治疗后的五年内最有可能复发时，也获得了类似的结果。在这种情况下，该模型的准确率约为83%，比其他基础模型产生的预测准确率高出约12%。

“MUSK的独特之处在于能够将未配对的多模态数据纳入预训练，与其他模型所需的配对数据相比，这大大增加了数据的规模，我们观察到，对于所有临床预测任务，整合多种类型数据的模型始终优于仅基于图像或文本数据的模型。将这些未配对的多模态数据与马斯克等人工智能模型相结合，将是人工智能帮助医生改善患者护理能力的重大进步。”

哈佛医学院的研究人员也参与了这项研究。

该研究由美国国立卫生研究院（拨款R01CA222512， R01CA233578, R01CA269599, R01CA285456， R01CA290715和R01DE030894）和斯坦福大学以人为中心的人工智能研究所资助。