基于多模态图融合的GCN算法，结合fMRI和T1加权MRI数据用于阿尔茨海默病的诊断

时间：2026年2月21日

来源：Neural Networks

编辑推荐：

阿尔茨海默病（AD）早期诊断存在数据融合不足和模型可解释性差的问题。本文提出MGF-GCN多模态图融合模型，结合fMRI的非线性格兰杰因果矩阵与T1w-MRI的形态学特征构建脑图，通过跨注意力机制实现多模态对齐，并进一步设计贝叶斯自注意力GCN（BSAGCN）进行分类。该方法利用BN246脑图谱进行精细分区，使模型能可视化关键脑区贡献权重，实验表明其诊断准确率和可解释性均显著优于现有方法，为临床决策提供新依据。

王国伟|李同彤|孙琦|彭洪|任涛文|傅宇|姚志军|胡斌

兰州大学信息科学与工程学院，中国兰州730000

摘要

阿尔茨海默病（AD）是一种进行性神经退行性疾病，其特征是大脑结构和功能失调，但其早期检测仍然具有挑战性。尽管最近的研究利用人工智能结合多模态神经成像技术提高了诊断准确性，但这些方法在整合不同数据源方面存在不足，并且缺乏临床应用的透明度。特别是功能性磁共振成像（fMRI）和T1加权磁共振成像（T1w-MRI）特征的维度庞大，加上复杂的模态间关系，容易导致过拟合，从而阻碍了可靠生物标志物的识别。为了解决这些问题，我们提出了一种新颖的多模态图融合图卷积网络（MGF-GCN），该网络整合了功能性（fMRI）和结构性（T1w-MRI）大脑特征，以实现准确且可解释的AD诊断。我们通过结合静息态fMRI（rs-fMRI）的非线性格兰杰因果关系（NGC）来构建大脑图谱，以捕捉区域间的功能依赖性，并利用T1加权MRI的形态学特征丰富节点属性。为了有效对齐和增强多模态表示，同时保持底层拓扑结构，我们引入了一种基于交叉注意力的图融合策略。为了进一步提高性能和可解释性，我们开发了贝叶斯自注意力图卷积网络（BSAGCN），其中注意力权重被建模为概率分布，从而能够识别关键大脑区域并减少噪声敏感性。所有特征均基于BN246大脑图谱提取，便于精细定位潜在生物标志物。实验结果表明，我们的方法在诊断准确性和可解释性方面显著优于现有方法，为AD的病理生理机制提供了新的见解，并为临床决策提供了有价值的支持。

引言

阿尔茨海默病（AD）是一种进行性神经退行性疾病，严重损害记忆、思维和行为等认知功能，导致情景记忆和语义记忆显著下降，核心症状表现为认知功能障碍。当前的临床诊断已从传统的纯症状评估发展为结合生物标志物的分类系统，整合了多维证据：首先，通过详细的病史收集和标准化的神经心理学评估确认认知障碍的模式，但这些行为测试对早期轻度认知障碍（MCI）的敏感性仅为约60-70%（Simone等人（2025）），并且容易受到教育水平和文化背景等因素的干扰（Bourgeat等人（2022））。其次，诊断需要依赖脑脊液检测或外周血新兴标志物以及神经影像学证据，但仍存在假阳性和假阴性情况（Zhang等人（2023e））。AD伴随着特定大脑区域的形态学变化，主要表现为海马体积显著减小和内侧颞叶萎缩（de Flores等人（2022））。相比之下，MCI的影像学变化更为微妙：只有40-50%的患者表现出轻度海马萎缩，这与正常衰老重叠（Chandra等人（2019））。这种细微变化使得MCI的影像学诊断依赖于磁共振成像（MRI）等医学影像，并结合人工智能诊断技术来提高特异性，从而实现早期计算机辅助诊断。

大量研究表明，AD的发病和进展与特定大脑区域的结构和功能改变密切相关（Zhukovsky等人（2023））。功能性磁共振成像（fMRI）和T1加权磁共振成像（T1w-MRI）是两种重要的神经影像学方法，它们提供了关于大脑功能和结构的互补信息。fMRI捕捉动态神经活动和功能连接模式，而T1w提供大脑组织的详细解剖信息。这两种方法分别表征了大脑的动态和静态特性，它们的整合可以揭示潜在的神经疾病机制（Ding等人（2013）。

大脑图谱为研究大脑区域的定量尺度提供了基础。通过将大脑划分为不同的区域，其中节点代表不同的大脑区域，边表示它们的功能或结构连接，可以使用基于图的结构来表示大脑的完整信息。大脑连接性的变化通常先于明显的结构改变（Al-Ezzi等人（2024）），这使得它们对于AD和MCI的早期诊断至关重要。这些连接性变化揭示了传统影像学方法可能忽略的微妙的网络级紊乱。图卷积网络（GCNs）有效地捕捉了大脑连接性的空间和拓扑特征，提高了MCI的诊断准确性，并实现了更早的检测，同时提供了对AD潜在病理机制的更全面理解（Li等人（2023））。与传统深度学习方法相比，GCNs可以直接建模大脑网络的拓扑结构，保留关键连接信息，整合多模态数据，并通过图注意力机制满足生物标志物可解释性的需求，从而提供了对AD潜在病理机制的更深入见解。

基于图的诊断方法通常包括两个主要组成部分：设计特征图和构建分类器。其中，特征图的设计往往更为关键，因为它在很大程度上决定了整体诊断性能。然而，当前的研究仍面临一些限制。诊断准确性往往不足以满足临床标准，而且模型在预测方面通常缺乏可解释性（Zhou等人（2025））。一个原因是大脑网络本身的复杂性以及影像数据中的噪声，这使得提取有意义和具有区分性的特征变得困难。此外，多模态数据的整合并不总是有效的，因为不同模态可能表现出不同的特征，需要专门的预处理和融合策略。

为了克服AD诊断中的当前挑战，我们提出了多模态图融合图卷积网络（MGF-GCN）模型。该方法通过提取非线性格兰杰因果关系（NGC）矩阵来捕捉大脑区域之间的非线性关系，用于构建大脑图谱（Fu等人（2022））。同时，结合T1w-MRI的形态学特征来增强节点属性，同时保持原始图谱结构的完整性。这种保留对于研究特定大脑区域与AD病理生理学之间的关系至关重要。最后，应用贝叶斯自注意力图卷积网络（BSAGCN）进行图分类，确保了强大的诊断性能和可解释性。总之，本工作的贡献如下：

(1)

我们整合了基于fMRI的非线性格兰杰因果关系矩阵和T1w-MRI的形态学矩阵，以实现AD的结构和功能互补表示，提高了诊断性能。

(2)

采用基于交叉注意力的图融合方法，通过结合结构信息来增强特征表示。融合过程中保留了节点对齐，确保了可解释性。

(3)

我们提出了BSAGCN，将图注意力权重建模为概率分布，以突出关键大脑区域，提高了诊断准确性和模型透明度。

(4)

所有多模态特征均使用BN246图谱进行精细分割，从而能够识别敏感的区域生物标志物。此外，每个大脑区域的贡献权重被可视化，增强了可解释性，并支持基于临床的决策。

本文的其余部分组织如下。第2节回顾了阿尔茨海默病诊断的多模态融合和图网络相关研究，指出了整合和可解释性的局限性。第3节描述了数据集、预处理、大脑图构建、交叉注意力融合以及提出的BSAGCN。第4节和第5节详细介绍了实验和结果，包括性能、可视化和临床见解。第6节进行了总结并概述了未来方向。

部分摘录

AD诊断的多模态融合

多模态融合已成为AD诊断的关键策略（Gabitto等人（2024）（Ying等人（2023））。通过整合不同模态的数据，充分发挥了每种模态数据的优势，克服了单一模态方法难以捕获完整信息的局限性（Zhang等人（2023a）），并提高了诊断准确性。当前的融合方法大致可以分为三种范式：早期融合、晚期融合和中间融合（

数据集

我们使用OASIS-3（开放获取系列影像研究：https://www.oasis-brains.org/）数据集（LaMontagne等人（2019）进行验证，该数据集专为AD研究设计，提供了多模态神经影像数据和详细的临床评估信息。为了最小化外来混淆因素的影响，我们仅选择静息态血氧水平依赖（BOLD）序列作为fMRI数据，以及T1w-MRI作为结构MRI数据。

实验设置

在我们的实验中，我们将疾病诊断过程建模为一个三类分类任务（AD vs. MCI vs. NC）和三个二元分类任务（AD vs. MCI, AD vs. NC, MCI vs. NC）。我们采用了10折交叉验证策略。首先，我们将整个数据集随机划分为80%用于模型开发，20%用于最终评估。具体来说，使用双层KFold来划分测试集。首先，外层KFold固定2折作为最终

受影响的大脑区域

在我们提出的MGF-GCN方法中，模型的出色可解释性为其性能和潜在机制提供了重要见解：（1）图结构与大脑的解剖结构内在对齐，确保预测结果直接关联到相应的大脑区域。这种对齐增强了模型的透明度和临床相关性。（2）分配给大脑区域的注意力权重被建模为高斯分布

结论

本研究提出了一种用于AD诊断的MGF-GCN。与现有的多模态融合模型相比，所提出的MGF-GCN在诊断方面取得了显著进步。通过整合功能性（fMRI）和结构性（T1w-MRI）特征，它有效地捕捉了这些模态的互补性质，提高了模型区分AD和其他疾病的能力。与传统方法不同，它采用了NGC分析

CRediT作者贡献声明

王国伟：撰写 – 审稿与编辑，撰写 – 原始草稿，软件，方法论，形式分析。李同彤：撰写 – 审稿与编辑，软件，调查。孙琦：撰写 – 原始草稿，方法论，调查。彭洪：验证，方法论。任涛文：数据管理。傅宇：撰写 – 审稿与编辑，监督。姚志军：监督，资源，项目管理。胡斌：监督，资源，项目管理。