作者:Hari Iyer | Heejin Jeong
地址:7271 E Sonoran Arroyo Mall, Mesa, AZ 85212, 美国
摘要
我们提出了一种基于物理信息的、适应不同领域的神经网络架构,用于从表面肌电图(EMG)信号中估计人体运动学。该方法通过直接从分割和标准化的EMG输入数据预测惯性测量单元(IMU)的输出,来解决生物力学逆向映射问题,无需针对特定领域进行调整或重新训练。该模型采用了一个共享的卷积特征提取器,随后分为两个分支:一个主要回归部分用于预测平均IMU信号,另一个分类部分通过梯度反转层进行对抗性训练。这种架构有助于学习与任务无关的特征表示,同时保持准确的运动预测能力。为了确保生物力学的合理性,我们引入了一个基于物理信息的损失函数,该函数会对预测加速度的一阶导数(即急动)进行惩罚,从而减少不现实的动态行为。该模型使用了在五种不同任务类别中收集的EMG-IMU数据进行了评估,这些任务的传感器配置各不相同。结果表明,加速度的均方根误差为0.42 ± 0.11 m/s²,陀螺仪输出的均方根误差为6.38 ± 1.1°/s,分别约相当于峰值幅度的23%和2.7%。领域预测准确率接近75%,不同类别的精确度、召回率和F1分数随领域复杂性和EMG激活模式与运动模式之间的重叠程度而变化。
引言
表面肌电图(EMG)被广泛用于捕捉与自主人体运动相关的肌肉激活模式(Thielen等人,2025年;Zheng等人,2022年)。当与惯性测量单元(IMU)结合使用时,这些信号可以用来在现实世界中的无约束环境中估计人体运动学。IMU已成为实验室运动捕捉的实用替代方案,用于生物力学评估,最近的验证研究表明其准确性取决于任务、关节和运动平面(Chia等人,2021年;Zago等人,2018年10月)。直接从EMG预测IMU信号在辅助技术、康复和人体工程学评估中具有重要的应用价值,因为它避免了复杂的生物力学建模或直接的运动学测量需求(Diaz,2020年)。然而,由于神经肌肉动力学的复杂性、非线性和任务依赖性,这种逆向映射任务本质上是不适定的(Sartori等人,2014年)。
尽管现代可穿戴系统通常同时集成IMU和EMG传感模块,但从EMG直接预测IMU信号仍然具有价值。首先,它能够在IMU测量不可用、被遮挡或因传感器位移而不可靠的情况下估计运动趋势。其次,它为直接研究神经肌肉-运动学耦合提供了框架,支持运动控制的临床和人体工程学评估(Sartori等人,2014年)。第三,从建模的角度来看,基于EMG的IMU预测有助于表征肌肉激活到运动的动态转换,而无需直接的物理仪器,这对于假肢控制、康复反馈和运动意图的数字孪生模拟非常有用(Zhang等人,2022年)。
尽管基于EMG的运动估计方法已经取得了进展,但大多数方法仍然依赖于针对特定任务的监督学习,因此在面对新活动、传感器配置或运动模式时性能较差(Kiguchi & Hayashi,2012年)。EMG信号对肌肉疲劳、电极放置和生物力学环境等因素非常敏感,这些因素会导致模型在训练分布之外的性能下降(Wu等人,2023年)。此外,传统的回归损失函数(如均方误差)仅量化预测值与真实值之间的差异,但没有考虑生物力学约束。因此,运动学预测可能会变得不现实、噪声较大或动态不稳定(Zhang等人,2022年)。这些挑战限制了EMG到IMU模型在多任务、用户独立和现实世界场景中的适用性。最近在关节IMU和表面EMG传感器系统方面的进展提高了实际应用中的信号同步性和鲁棒性,从而解决了这些限制(Hwang等人,2025年)。
我们提出了一种适应不同领域的、基于物理信息的深度神经网络,用于在不同的人类任务领域中实现EMG到IMU的逆向映射。本研究的主要贡献包括:
- 1. 使用对抗性领域分类器的卷积神经网络:该模型采用卷积神经网络从EMG信号中提取有意义的时间和空间模式,捕捉肌肉随时间的激活和协调方式。通过梯度反转层训练的对抗性领域分类器有助于学习在多个任务领域中保持一致的特征。
- 2. 基于急动最小化的物理信息损失函数:训练过程通过最小化急动(加速度的变化率)来引入物理信息约束。这种损失函数促进了更平滑、更符合生物力学的运动预测,减少了估计的IMU信号中的突然或不现实的波动。
- 3. 多领域评估和泛化:该模型在五个不同的任务领域(组装(业余者和专业人士)、烹饪(业余者和专业人士)以及爬梯子)进行了评估,以评估其泛化能力。模型在所有领域中保持了稳定的性能,无需重新训练,表明它学习了与任务无关的肌肉驱动运动原理,而不是特定领域的模式。
直接从EMG信号预测关节运动学是一种有前景的方法,适用于手势识别、假肢控制和机器人辅助等应用。然而,本研究关注于预测IMU信号作为中间表示,因为IMU能够捕获丰富的动态信息,这些信息随后可以用来推断与任务无关的运动学。预测IMU数据使模型能够在不依赖关节特定标签的情况下保持肌肉激活与身体运动之间的物理对应关系,这些标签在不同设置和受试者之间可能会有很大差异。这种策略还增强了模型的泛化能力,因为IMU信号可以作为运动的通用代理,可以最小化重新训练即可集成到下游的肌肉骨骼或控制模型中。
在本文中,EMG是一个通用术语,指的是与自主人体运动相关的肌肉电活动的表面测量值。当指具体的信号表示时,我们根据本研究中使用的信号处理程序区分原始形式和处理后的形式。原始EMG表示在整流、平方或平滑操作之前记录在皮肤表面的宽带表面肌电图信号。标准化原始EMG表示使用特定试验的最大自主收缩(MVC)参考值进行缩放,并分割成固定长度的时间窗口;这种表示是本工作中用于模型训练和评估的唯一EMG输入。
章节片段
EMG到IMU的回归和逆向映射
多项研究探索了从表面EMG数据估计人体运动学的数据驱动方法,通常应用线性回归、支持向量机和多层感知器等回归模型将EMG特征映射到关节角度或IMU派生信号(Li等人,2023a;Ma等人,2020年)。最近,包括卷积神经网络和循环神经网络在内的深度学习架构通过捕捉时间依赖性展示了改进的性能
问题表述
本研究的目的是开发一个模型,可以从EMG信号中独立于特定的人类任务领域估计IMU信号。原始EMG输入表示为
本研究中使用的数据集是通过Delsys Trigno无线系统收集的,包括同步的EMG和IMU信号。数据来自五个不同的人类任务领域:组装(业余者和专业人士)、烹饪(业余者和专业人士)以及爬梯子。在每个领域中,多名参与者执行了特定任务的活动,数据按参与者和试验进行了层次化组织。
结果
本节全面报告了提出的适应不同领域的、基于物理信息的逆向映射模型在训练、验证和测试数据集上的定量和定性评估结果,包括模型收敛趋势、IMU预测准确性、领域分类性能和消融分析。所有指标均基于窗口级别的预测结果,并包含了特定类别的细分,以评估领域依赖行为。
讨论
本研究证明了适应不同领域的、基于物理信息的深度学习模型在从标准化EMG数据预测IMU信号方面的可行性和有效性。结合回归和领域分类的方法在未见过的任务中保持了稳定的准确性,无需重新训练。引入基于物理信息的损失函数进一步通过惩罚不现实的急动来增强预测运动学的合理性。
结论与未来工作
本文提出了一种适应不同领域的、基于物理信息的神经网络框架,用于从标准化的表面EMG信号中估计人体运动学。通过结合对抗性领域适应性和基于急动正则化的物理信息损失函数,该方法能够提取与任务无关但具有运动区分能力的特征,从而产生既通用又符合物理规律的预测结果。该模型解决了先前方法的关键局限性
未引用的参考文献
Sun等人,2017年;Sutherland等人,2016年。
CRediT作者贡献声明
Hari Iyer:撰写 – 审稿与编辑、原始草稿撰写、可视化、验证、软件开发、方法论设计、调查、形式分析、数据整理、概念化。Heejin Jeong:撰写 – 审稿与编辑、监督、资源获取、资金筹措、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
作者披露了本研究、作者身份和/或文章发表所获得的以下财务支持:本研究得到了加州NIOSH教育和研究中心(SCERC)的试点项目研究培训计划的支持(资助编号T42 OH004812),由疾病控制与预防中心(CDC)提供。此外,还获得了国家职业安全与健康研究所(NIOSH)的额外支持(资助编号T42 OH008672)。