基于脑电与多模态生理信号的情绪识别框架：监督对比学习与时空卷积注意力网络的创新融合

本文提出一种基于脑电（EEG）与周边生理信号（PPS）的多模态情绪识别框架IAECL，通过模态内与模态间监督对比学习（Supervised Contrastive Learning）解决信号异质性与关联性挑战，并设计集成图注意力（GAT）、时空卷积与多头注意力（Multi-head Attention）的GCANet编码器强化EEG时空特征提取。在DEAP和DREAMER数据集上的实验表明，该框架在主体内与混合主体任务中均达到领先水平，为多模态情绪识别提供了新颖解决方案。

亮点

• •
  我们提出IAECL，一种基于脑电图（EEG）的多模态情绪识别框架，引入双层级监督对比学习机制，在特征融合前对齐模态内与模态间特征。该整合策略有效缓解模态异质性，同时增强跨模态关联性。
• •
  我们设计GCANet，一种专用于EEG的编码器，集成图注意力（GAT）、时空卷积与多头注意力模块，高效建模通道间依赖关系与多尺度时间动态。
• •
  在DEAP和DREAMER数据集上的大量实验表明，所提出的IAECL框架尽管采用简单的直接融合策略，仍实现了领先性能，并持续超越基线方法。可视化结果进一步证实了所提跨模态对齐策略的有效性。

基于脑电图的情绪识别

脑电图记录提供了大脑认知与心理活动的重要外部表现，包含丰富的生理与心理信息，使其成为研究情绪状态的重要数据源。基于EEG的情绪识别因其非侵入性、高时间分辨率与快速响应，长期是情感计算领域的核心研究方向。例如，Tao等人开发了ACRNN，一种基于注意力的...

概述

我们的目标是开发一个模型，通过利用多模态生理信号并学习多模态信号与情绪标签之间的映射关系来实现情绪识别。模型的输入包括从受试者收集的原始生理信号，涵盖多种模态，如EEG、肌电图（EMG）和眼电图（EOG）。根据Huang等人的研究，我们将除EEG外的生理信号归类为PPS。EEG和PPS模态的序列...

数据集

DEAP是一个多模态情绪数据集，包含32名受试者的生理信号记录，用于情绪分析。受试者包括16名男性和16名女性，每人在实验中被要求观看40个有代表性的60秒音乐视频。在观看视频前，从每位受试者收集3秒的基线生理信号。在视频观看期间记录了40个通道的多模态生理信号。每个视频后，受试者被要求...

方法的稳定性

如图5所示，IAECL在主体内实验中的性能在不同受试者间表现出显著的一致性。在DEAP数据集上，唤醒度和效价任务的分类准确率对所有参与者均超过99%，而仅在支配度任务中受试者#14显示出略低的准确率。类似地，在DREAMER数据集上，IAECL在所有三个任务中均实现了 uniformly 高准确率，性能在不同受试者间保持稳定且高度一致...

结论

在本研究中，我们提出了IAECL作为一种新颖的基于EEG的多模态情绪识别框架。IAECL使用模态特定编码器缓解多模态异质性，并通过引入监督对比学习来对齐跨模态特征以增加模态关联性。所提出的集成图注意力、时空卷积和多头注意力的GCANet编码器作为框架的一部分，有效提取了判别性时空特征。实验...