DDMGCN:一种用于脑电图(EEG)情绪识别的深度动态多图卷积神经网络

时间:2026年2月6日
来源:Biomedical Signal Processing and Control

编辑推荐:

EEG情绪识别模型通过动态多图卷积和双分支协同训练解决拓扑关系建模不足及深度受限问题,在SEED和DREAMER数据集上实现最佳性能。

广告
   X   

Jiao Wang|Zhifen Guo|Peng Zhang|Hongchen Luo|Fengbin Ma|Pengcheng Song
东北大学信息科学与工程学院,中国辽宁省沈阳市和平区文华路3-11号,110819

摘要

脑电图(EEG)能够客观准确地反映人类的情绪状态,这使得基于EEG的情绪识别成为医学测量和健康监测等领域的研究重点。由于EEG数据结构的不规则性,图卷积神经网络(GCNN)在学习EEG通道之间的拓扑关系方面表现出色。然而,现有的基于GCNN的方法受到堆叠深度限制以及在建模拓扑关系时灵活性不足的困扰,这导致难以捕捉EEG信号之间的复杂相关性,从而影响了识别性能。为了解决这些问题,我们提出了一种深度动态多图卷积神经网络(DDMGCN)。具体而言,DDMGCN采用了双分支协作训练框架。主训练网络在DGCNN架构中集成了一种多层3D卷积神经网络(3DCNN),以深化模型,捕捉动态交互和多层次的时空信息。辅助更新网络引入了多图结构,能够自适应地调整每一层,以实现最佳的拓扑关系。最后,应用了一种基于分支注意力机制的更新策略来优化两个分支的模型参数。我们在两个公开的数据集SEED和DREAMER上评估了DDMGCN的性能。实验结果,包括依赖于受试者和不依赖于受试者的验证,均优于当前最先进的模型。这证明了我们的方法在情绪识别中建模动态EEG连接性的潜力。

引言

当个体遇到外部或内部事件时,大脑的反应与其情绪密切相关。情绪可以定义为人类在根据偏好、知识和意图评估外部信息时产生的独特认知体验[1]。情绪是人类对外部刺激的一种心理反应,可以通过主观体验、言语表达、生理反应等多种方式表现出来[2]。已经提出了多种情绪模型来描述情绪状态。离散模型将情绪分为六种类型:(1)愤怒、(2)厌恶、(3)恐惧、(4)快乐、(5)悲伤和(6)惊讶。维度模型考虑了唤醒度、效价和支配性[3],分别代表从不愉快到愉快、从被动到主动、从顺从到支配的状态[4]。随着人工智能的快速发展,情绪识别已成为一个重要的研究领域。特别是在医学测量和健康监测领域,情绪识别发挥着关键作用[5]。情绪识别可以基于生理信号(例如EEG[6]、心电图[7]、[8]、眼球运动[9])和非生理信号(面部表情[10])来进行。人们可以通过特定训练隐藏或改变面部表情和声音,因此生理信号比非生理信号更可靠。此外,EEG信号与其他生理信号相比,与情绪的相关性更强[11]。
EEG信号因其无创性、易于获取和高准确性而被广泛用于情绪识别。然而,EEG信号常常受到混合噪声的影响,信噪比较低,空间分辨率较差,缺乏图像和语音信号所具有的时间对称性和稳定性。传统方法采用数学插值[12]和结合经验模态分解(EMD)[13]的相关性分析来建模EEG数据,旨在提高空间分辨率并降低信噪比。然而,传统的EEG信号处理和特征提取方法不仅需要特定的领域知识,而且随着选择特征数量的增加,计算成本也会呈几何级增长[14]。这些特性给EEG的处理和分析带来了重大挑战。
深度学习技术的出现为这些挑战提供了解决方案。它自动化了特征提取和选择的过程,降低了计算成本,并促进了特征提取与分类模型训练的同时进行[15]。卷积神经网络(CNN)因其能够从EEG信号中提取时空特征并关注局部模式而经常被用于解决分类问题,取得了显著的结果[16]。然而,EEG通道数据的不规则结构类似于拓扑数据,这意味着用于基于EEG的情绪识别的CNN可能会忽略通道结构。
GCNN[17]通过捕捉图节点之间的复杂关系扩展了CNN的功能,使其非常适合探索情绪识别任务中多个EEG通道之间的相互连接。然而,先前的研究[18]表明,GCNN在深度上存在局限性,且其拓扑关系无法自适应地更新。随着图卷积层数量的增加,节点信息过度平滑的问题出现,导致所有节点信息趋于一致,从而失去了EEG信号特征的多样性[19]。GCNN层数量的限制将使得模型难以捕捉EEG节点之间的长距离拓扑关系,影响模型利用全局上下文线索进行准确情绪识别的能力[20]。另一方面,现有的GCNN需要手动在图节点之间建立预定义的连接。DDMGCN通过学习和适应邻接矩阵有效缓解了这一缺陷[21]。尽管如此,它们通过所有图卷积层共享统一的图结构,但仍受到模型表达灵活性不足的约束,复杂的和多样的拓扑关系在训练和优化过程中难以自适应调整,从而导致模型感知复杂EEG信号的能力下降。
为了解决这些限制,我们提出了一种深度动态多图卷积神经网络(DDMGCN),该网络采用双分支协作训练方法优化模型参数。最初,主训练网络结合了3DCNN,以解决GCNN在提取更深层次时空特征方面的局限性,并有效缓解了由于DGCNN层深度不足导致的局部信息流问题。随后,由多个图卷积网络组成的辅助网络帮助主网络澄清EEG通道之间的拓扑关系。它为不同层使用多种图结构作为输入,独立更新它们以确定每层的最佳拓扑关系。最后,应用了一种注意力机制为两个分支分配权重,同时更新它们。我们的贡献有三个方面:
  • 我们提出了深度动态多图卷积网络(DDMGCN),增强了图卷积神经网络的深度。该模型结合了动态图卷积网络和传统卷积网络的优点,实现了它们各自优势的融合。
  • 我们提出了一种双分支协作训练方法,使用多图辅助网络自适应地调整多层DGCNN。这种方法实现了最佳的拓扑关系,提高了模型感知EEG信号中复杂拓扑结构的能力。
  • 在两个公开数据集SEED和DREAMER上的广泛实验表明,DDMGCN的性能超过了现有的最先进EEG情绪识别基线,加深了对大脑各叶之间EEG通道动态连接性的理解。

部分摘录

情绪特征

由于基于EEG的情绪识别在多个领域具有重要的研究价值,近年来受到了广泛关注。传统的EEG情绪识别方法通常分为两个部分:特征提取和端到端模型分类。特征一般分为三类:时域特征、频域特征和时频特征。时域特征包括Hjorth特征[22]等

方法

本节详细描述了DDMGCN的结构,如图1所示。首先,在第3.1节介绍了数据预处理操作。DDMGCN采用双分支协作训练方法,其中包含两种关键策略。一个分支是主训练网络,旨在加深网络深度以捕捉更深的时空特征,如第3.2节所讨论的。另一个分支是辅助更新训练网络,它

实验与分析

为了验证所提出方法的有效性,在两个著名的开源数据集SEED[28]和DREAMER[36]上进行了依赖于受试者的实验。本节分为三个部分,以便清晰和全面地进行分析。首先介绍了实验中使用的两个数据集的概述(第4.1节)。然后介绍了模型结构和参数设置(第4.2节)。接下来的两个部分(第4.3节SEED数据集实验,第4.4节

结论

本文提出了一种用于EEG情绪识别的新型DDMGCN。首先,DDMGCN通过双分支协作训练机制解决了网络深度的限制问题。此外,该模型利用多种图结构,使得图卷积的每一层都可以独立更新连接,显著提高了网络的适应性和灵活性。最后,引入了分支注意力机制,系统地优化了模型

CRediT作者贡献声明

Jiao Wang:撰写——审稿与编辑、方法论、研究资金获取、形式分析、概念化。Zhifen Guo:撰写——审稿与编辑、原始草稿撰写、项目管理、数据管理、概念化。Peng Zhang:撰写——审稿与编辑、验证、概念化。Hongchen Luo:撰写——审稿与编辑、方法论。Fengbin Ma:方法论、数据管理、概念化。Pengcheng Song:撰写——审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

作者感谢编辑和审稿人对改进论文提出的宝贵意见和建议。本工作部分得到了中国航空科学基金会的资助(项目编号:20220048050001)。

生物通微信公众号
微信
新浪微博


生物通 版权所有