当个体遇到外部或内部事件时,大脑的反应与其情绪密切相关。情绪可以定义为人类在根据偏好、知识和意图评估外部信息时产生的独特认知体验[1]。情绪是人类对外部刺激的一种心理反应,可以通过主观体验、言语表达、生理反应等多种方式表现出来[2]。已经提出了多种情绪模型来描述情绪状态。离散模型将情绪分为六种类型:(1)愤怒、(2)厌恶、(3)恐惧、(4)快乐、(5)悲伤和(6)惊讶。维度模型考虑了唤醒度、效价和支配性[3],分别代表从不愉快到愉快、从被动到主动、从顺从到支配的状态[4]。随着人工智能的快速发展,情绪识别已成为一个重要的研究领域。特别是在医学测量和健康监测领域,情绪识别发挥着关键作用[5]。情绪识别可以基于生理信号(例如EEG[6]、心电图[7]、[8]、眼球运动[9])和非生理信号(面部表情[10])来进行。人们可以通过特定训练隐藏或改变面部表情和声音,因此生理信号比非生理信号更可靠。此外,EEG信号与其他生理信号相比,与情绪的相关性更强[11]。
EEG信号因其无创性、易于获取和高准确性而被广泛用于情绪识别。然而,EEG信号常常受到混合噪声的影响,信噪比较低,空间分辨率较差,缺乏图像和语音信号所具有的时间对称性和稳定性。传统方法采用数学插值[12]和结合经验模态分解(EMD)[13]的相关性分析来建模EEG数据,旨在提高空间分辨率并降低信噪比。然而,传统的EEG信号处理和特征提取方法不仅需要特定的领域知识,而且随着选择特征数量的增加,计算成本也会呈几何级增长[14]。这些特性给EEG的处理和分析带来了重大挑战。
深度学习技术的出现为这些挑战提供了解决方案。它自动化了特征提取和选择的过程,降低了计算成本,并促进了特征提取与分类模型训练的同时进行[15]。卷积神经网络(CNN)因其能够从EEG信号中提取时空特征并关注局部模式而经常被用于解决分类问题,取得了显著的结果[16]。然而,EEG通道数据的不规则结构类似于拓扑数据,这意味着用于基于EEG的情绪识别的CNN可能会忽略通道结构。
GCNN[17]通过捕捉图节点之间的复杂关系扩展了CNN的功能,使其非常适合探索情绪识别任务中多个EEG通道之间的相互连接。然而,先前的研究[18]表明,GCNN在深度上存在局限性,且其拓扑关系无法自适应地更新。随着图卷积层数量的增加,节点信息过度平滑的问题出现,导致所有节点信息趋于一致,从而失去了EEG信号特征的多样性[19]。GCNN层数量的限制将使得模型难以捕捉EEG节点之间的长距离拓扑关系,影响模型利用全局上下文线索进行准确情绪识别的能力[20]。另一方面,现有的GCNN需要手动在图节点之间建立预定义的连接。DDMGCN通过学习和适应邻接矩阵有效缓解了这一缺陷[21]。尽管如此,它们通过所有图卷积层共享统一的图结构,但仍受到模型表达灵活性不足的约束,复杂的和多样的拓扑关系在训练和优化过程中难以自适应调整,从而导致模型感知复杂EEG信号的能力下降。
为了解决这些限制,我们提出了一种深度动态多图卷积神经网络(DDMGCN),该网络采用双分支协作训练方法优化模型参数。最初,主训练网络结合了3DCNN,以解决GCNN在提取更深层次时空特征方面的局限性,并有效缓解了由于DGCNN层深度不足导致的局部信息流问题。随后,由多个图卷积网络组成的辅助网络帮助主网络澄清EEG通道之间的拓扑关系。它为不同层使用多种图结构作为输入,独立更新它们以确定每层的最佳拓扑关系。最后,应用了一种注意力机制为两个分支分配权重,同时更新它们。我们的贡献有三个方面:
- 我们提出了深度动态多图卷积网络(DDMGCN),增强了图卷积神经网络的深度。该模型结合了动态图卷积网络和传统卷积网络的优点,实现了它们各自优势的融合。
- 我们提出了一种双分支协作训练方法,使用多图辅助网络自适应地调整多层DGCNN。这种方法实现了最佳的拓扑关系,提高了模型感知EEG信号中复杂拓扑结构的能力。
- 在两个公开数据集SEED和DREAMER上的广泛实验表明,DDMGCN的性能超过了现有的最先进EEG情绪识别基线,加深了对大脑各叶之间EEG通道动态连接性的理解。