胡安·史|刘梦雪|史炳豪|郭文辉|王彦江
中国石油大学（华东）控制科学与工程学院，青岛，266580，中国
摘要
基于脑电图（EEG）信号的情绪识别因其能够捕捉客观的内部神经动态而受到了广泛关注。然而，由于EEG本身的非平稳性和显著的个体间差异，现有方法往往难以同时捕捉复杂的多尺度时空依赖性。此外，标准的注意力机制缺乏过滤特定于受试者噪声所需的结构性约束，导致其在跨领域场景中的泛化能力有限。为了解决这些问题，我们提出了一种具有多尺度时空特征耦合的对抗性领域自适应框架（ADA-MSTFC）。该框架引入了一种协作式双流架构，旨在模拟神经处理机制：多尺度动态图卷积流提取细粒度的局部拓扑特征，而并行变换器流捕捉长距离的全局时间上下文。为了有效合成这些互补视图，我们设计了一种自适应的多视图门控机制，根据输入上下文动态重新调整特征权重。此外，为了减轻领域差异，我们通过梯度反转层（GRL）整合了一种对抗性领域对齐策略，迫使模型学习能够区分情绪状态的表示，同时对受试者的身份不敏感。在三个基准数据集（DEAP、SEED和SEED-IV）上进行的全面实验表明，所提出的方法比现有的基线方法具有更高的分类准确性，从而验证了其有效性。
引言
人工智能（AI）的快速发展在各个科学领域催生了重大突破。除了标准的语言任务外，大型语言模型（LLMs）和自主代理在决策和感知复杂环境方面展现了显著潜力[1]，这些进步对医学研究和诊断治疗产生了深远影响[2]。值得注意的是，最近的全球范围内的文献计量证据强调了像ChatGPT这样的LLMs为医疗保健带来的变革机会，特别是在增强临床决策支持和医学教育方面，同时解决了关于伦理、准确性和安全性的关键问题[3]。这些突破还体现在虚拟患者系统中的成功应用[4]以及通过物理集成LLM多代理框架对复杂物理系统的自主逆向建模[5]中。此外，AI驱动的架构在早期农业火灾中检测小目标方面表现出高敏感性[6]，并在增强智能物联（AIoT）中确保了安全的轨迹预测[7]。在以人为中心的感知背景下，研究人员通过分析时空认知分布特征成功预测了主观驾驶风险[8]。尽管取得了这些成就，但开发出用于富有同情心的人机交互的强大情感计算系统仍然是一个核心挑战。情绪从根本上驱动人类心理学，并影响决策和心理健康[9]。虽然早期的研究依赖于面部表情或语调等外部信号，但这些指标往往不可靠，因为它们容易受到自愿控制或环境噪声的影响[10]。因此，该领域的研究重点转向了EEG信号，这是一种非侵入性检测方法，因其高时间分辨率而备受推崇[11]，因为它能够绕过表面反应，从而捕捉到支撑情绪的协调神经活动。例如，我们知道前额叶皮层负责情绪调节，而杏仁核驱动情绪唤醒，这些生理变化使我们能够使用EEG记录作为直接和客观地了解大脑动态情绪处理的窗口[12]。
早期关于EEG情绪识别的研究通常采用机器学习方法，依赖于将手动提取的特征与传统分类器结合的分析策略。例如，王等人[13]使用频域特征与支持向量机（SVMs）结合，而Pane等人[14]利用随机森林进行情绪分类。尽管这些方法在特定背景下取得了显著成果，但它们受到手工特征的高度依赖性和对动态时空模式建模不足的限制，这限制了跨个体的泛化能力。随着深度学习的出现，端到端特征学习得到了广泛应用。林等人[15]将一维卷积与图卷积神经网络（GCNs）结合，以捕捉通道内和通道间的特征。为了进一步提取时空信息，一些研究将长短期记忆（LSTM）单元或多维结构与GCNs集成[16]，有效提高了分类效果。最近，刘等人[17]提出了一种混合卷积神经网络（CNNs）和变换器架构，利用注意力机制整合时空特征进行情绪识别。
尽管取得了显著进展，EEG建模中仍存在三个未解决的问题。首先，固定的单尺度结构无法捕捉神经电路的层次拓扑变化，这些变化在空间分辨率上动态演变[18]。其次，缺乏结构性归纳偏见使得变换器容易过拟合神经信号的低信噪比（SNR）。整合多尺度GCNs提供了必要的结构规整，施加了几何约束，将全局注意力锚定在神经生理学相关的模式上。最后，高维时空特征对个体间差异敏感，需要对抗性领域适应（ADA）来确保领域不变的表示。我们通过三方面的协同作用来解决这个问题：多尺度拓扑用于局部精度，变换器用于结构引导的全局上下文，以及ADA用于跨个体可靠性。因此，我们提出了ADA-MSTFC，即ADA多尺度时空特征耦合。该框架摒弃了依赖静态拓扑或简单特征拼接的传统方法，而是通过协作机制捕捉EEG信号的动态复杂性。我们特别整合了多尺度动态图卷积来提取细粒度的局部拓扑特征，并将其与变换器结合以建模全局时间依赖性。为了确保这些丰富的表示在面对个体间差异时仍然稳健，我们进一步将自适应多视图融合策略和对抗性领域对齐机制纳入统一的端到端训练工作流程中。
本文的主要贡献总结如下：
• 我们设计了多尺度动态卷积，专门用于捕捉细粒度的拓扑变化。这些卷积与变换器编码器配对，以解决长距离的时间依赖性。这种双管齐下的方法使模型能够突出局部神经电路，同时聚合全局功能模式。
• 我们提出了一个动态融合模块（MVDFM），比简单的拼接提供了更细致的方法。其核心优势在于能够学习局部空间线索和全局时间特征的自适应权重。这使得模型能够动态优先考虑不同情绪状态下的最具区分性的视图，并直接提高对噪声的鲁棒性。
• 我们将对抗性学习直接整合到时空特征提取过程中。我们的实现利用GRL和联合多损失优化策略来约束训练过程。这种组合迫使网络学习出既能区分情绪又能对特定于受试者的变化保持不变的表示。最终，这种方法在跨受试者的泛化能力上取得了实质性改进。
本文的其余部分结构如下：第2节回顾了EEG情绪识别的相关工作。第3节详细介绍了提出的ADA-MSTFC框架，包括多尺度图建模和对抗性优化流程。第4节展示了实验设置、比较结果和深入分析。最后，第5节总结了研究并概述了未来的研究方向。
**EEG情绪识别与机器学习**
EEG数据表现出丰富且非平稳的动态特性，这历来使情绪识别成为一项具有挑战性的任务。早期研究主要依赖于手动特征工程，研究人员提取了如高阶交叉[19]或功率谱密度[20]等时间描述符。为了捕捉空间依赖性，常见的空间模式成为标准技术[21]。这些特征通常由传统分类器处理。
**提出的方法**
图1提供了所提出的ADA-MSTFC框架的全面概述。我们有意摆脱了传统的级联模型，而是采用了一种协作式双流架构，有效反映了EEG信号的固有异质性。在一个流中，多尺度动态图卷积流以不同的粒度提取空间拓扑特征，而并行变换器流同时建模长距离的时间依赖性。
**实验**
我们在三个基准数据集（SEED、SEED-IV和DEAP）上评估了ADA-MSTFC。我们首先描述了数据集和数据准备程序，然后是详细的实验设置，包括验证协议和超参数配置。最后，我们与先进的基线方法进行了全面比较，并进行了消融研究以验证所提出模块的有效性。
**结论**
本研究通过一种结合多尺度动态图卷积与变换器编码器的双流架构，解决了EEG情绪识别中的跨个体差异问题。通过采用可学习的多视图机制和对抗性对齐，该框架有效地提取了特定于情绪的语义，同时抑制了与身份相关的噪声。在SEED、SEED-IV和DEAP基准测试中的实证结果证实，我们的方法具有更高的稳定性。
**CRediT作者贡献声明**
胡安·史：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据整理、概念化。
刘梦雪：监督、资源、项目管理。
史炳豪：软件、概念化。
郭文辉：撰写——审阅与编辑、监督、项目管理、资金获取、概念化。
王彦江：撰写——审阅与编辑、监督、软件、资源、调查、资金获取、概念化。
**关于写作过程中生成式AI和AI辅助技术的声明**
在准备这项工作时，作者使用了AI工具来提高手稿的语言质量和清晰度。具体来说，这些工具用于精炼学术表述，并确保描述ADA-MSTFC框架和R-MLJO策略的各部分中的技术术语一致性。使用这些服务后，作者彻底审查和编辑了内容，以确保科学准确性。作者对最终内容负全责。
**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作得到了中国国家自然科学基金（项目编号62572485和62072468）的支持，以及浙江省自然科学基金（项目编号LQN26F030010）的部分支持。作者还要感谢匿名审稿人和编辑们的宝贵意见和建议，这些意见和建议有助于提高手稿的质量。
