近年来,表面肌电图(sEMG)已被广泛用作建立人机界面(HMI)的控制输入,也称为肌电控制[1]、[2],应用于假肢控制[3]和康复机器人[4]等领域。为了在这些领域实现直观和可靠的控制,模式识别已成为一种核心技术,能够将运动意图映射为控制指令。通过从sEMG信号中提取区分性特征,它能够准确识别各种运动模式,并支持具有多个自由度的智能设备控制[5]、[6]。在各种肌电模式识别研究中,手指运动识别尤为重要。它促进了精细的运动控制,支持有针对性的手部康复,并增强了虚拟和增强现实系统中的用户交互[7]、[8]。
当前主流的肌电模式识别方法主要依赖于从sEMG信号的时间和频率域中提取的宏观特征来构建分类模型[9]、[10]。这些方法因其简单性、计算效率和在各种任务中的相对高准确性而受到青睐[6]、[7]、[8]、[9]。然而,它们仅关注sEMG信号的一般表现,而没有捕捉生成这些信号的潜在神经机制。此外,这些宏观特征容易受到电极放置[11]、肌肉疲劳[12]、[13]和皮肤阻抗[6]等因素的影响,这可能会影响肌电控制系统的稳定性和鲁棒性。
为了克服这些限制,HD-sEMG分解的最新进展使得能够提取单个运动单位(MU)的活动,包括MU尖峰列及其在二维阵列中的相应波形[14]。这些发展为了解MU级别的神经肌肉协调提供了前所未有的见解。代表性的分解技术,如卷积核补偿(CKC)[15]、渐进式FastICA剥离(PFP)[16]及其变体,使得获取运动神经元的时空发射模式成为可能。这些模式反映了MU在复杂运动中的动态招募和协作行为,提供了比传统宏观特征更符合生理学的替代方案。为了满足实时应用的需求,还提出了CKC和PFP算法的自适应在线版本,用于在线将sEMG分解为MU活动[17]、[18]、[19]、[20],为直接从MU级别的神经驱动解码运动意图铺平了道路。此外,最近的研究努力将MU分解技术扩展到跨日和跨人的场景,增强了它们在记录条件变化引起的分布变化下的稳定性,扩大了其在实际应用中的适用性[21]、[22]。
这些MU分解的进步使得可以非侵入性地获取微观神经信息,从而为其在肌电控制中的使用奠定了基础。最近的研究表明,利用微观神经驱动信息可以显著提高肌电模式识别的性能[23]、[24]、[25]、[26]、[27]、[28]。例如,Farina等人使用MU时间放电特征量化了重新神经支配的肌肉部位的MU,并采用支持向量机进行分类[23]。Yang等人专注于低维MU组,并从分解后的MU的累积尖峰列(CSTs)中提取空间映射特征,以训练卷积神经网络(CNN)进行手势分类[24]。Chen等人提出了一种基于MU发射率(FR)特征的方法,在实时多运动任务场景中实现了可靠的性能[25]。Zhao等人进一步结合了FR和运动单位动作电位(MUAP)特征,使用模糊加权决策(FWD)策略实现了实时手指运动识别[26]。他们还发现,在电极偏移条件下,结合单个MU的空间特征作为先验知识显著提高了手势识别的鲁棒性[27]。总体而言,这些研究强调了MU级别信息的潜力,可以实现更准确和可靠的肌电控制,为自然和可靠的人机交互提供了有希望的途径。
尽管在基于MU的肌电模式识别方面取得了上述进展,但两个关键挑战仍然阻碍了其实际应用。首先,现有方法缺乏对MU之间协同作用的显式建模,这对于准确捕捉潜在的运动控制策略至关重要。这一限制主要源于MU集合的固有排列不变性,这是由于通过分解算法获得的MU顺序本质上是没有意义的[29]。由于排列MU顺序不会改变集合级分析的结果,因此经常忽略了MU之间的关系结构[24]、[25]。结果,许多方法要么对MU特征进行平均、连接或投票,而不考虑它们之间的关系结构,不可避免地忽略了MU之间的耦合[26]、[27]、[28]、[30]、[31]。其次,MU的动态招募引入了维度不稳定性,使得难以提取用于分类和预测的一致特征[32]。此外,实际记录中的低SNR条件减少了可分解MU的数量,增加了集合基数之外的变异性[16]。为了缓解这一问题,通常采用基于PCA的降维、聚类和固定长度叠加等技术[24]、[25]、[30]、[32]。然而,这些方法通过将可变大小的输入转换为固定维度的空间来简化问题,但代价是信息丢失和进一步破坏了MU级别的依赖性。因此,现有方法在表示神经肌肉活动的动态和协作性质方面存在不足,限制了HD-sEMG分解在复杂运动模式识别任务中的有效性。机器学习的最新进展,特别是集合变换器,提供了一个有前景的替代方案。集合变换器最初是为涉及无序集合的计算机视觉任务设计的,它们利用排列不变的自注意力机制来捕捉元素之间的交互,而不依赖于它们的顺序[33]、[34]、[35]。此外,它们处理可变大小输入的能力使得即使在运动阶段MU数量波动时也能进行鲁棒的表示。这些特性使得集合变换器特别适合于建模MU序列的不规则、动态和协作结构,为解决排列不变性和维度不稳定性提供了原则性的解决方案[35]。
考虑到以上因素,本研究报告了一种基于MU活动的精细运动意图解码的新方法。据我们所知,这是首次引入和定制集合变换器架构来表征和解释一组单个MU活动的方法。在我们的方法中,从sEMG信号中分解出的MU被直观地视为要处理的动态且无序的集合,从而能够全面利用可用的MU信息并自适应学习它们的协作调节机制。通过结合CNN进行MU局部特征提取和集合变换器进行MU集合全局特征提取,我们的方法有望有效应对复杂和动态MU招募条件带来的挑战。这项研究为解码精细运动意图和构建鲁棒高效的HMI提供了先进的方法,具有在消费电子和康复医学中的广泛应用。