基于人工智能的多模态传感器融合技术在定量康复评估和远程健康监测中的应用：以八段锦为例

多模态融合框架实现传统健身气功康复评估，通过Kinect骨骼动作捕捉与FLIR红外热成像采集20+8维特征，ANN模型在随机分割和leave-one-subject-out验证中RMSE分别为8.7和9.6，R²达0.93和0.89，显著优于单模态基线。热成像揭示腹部升温、腰椎激活等生理模式，验证专家评分可靠性（r=0.92，ICC=0.88），证实低成本低侵入式框架适用于老年护理、中风康复及远程监测。

王一涵|王志强|曹宁|曹月

独立研究员，中国北京

摘要

背景

对于康复锻炼的定量和可扩展评估仍然有限，尤其是对于像八段锦这样具有文化背景的练习。需要可靠且可解释的评估工具来支持临床应用和远程监测。

方法

二十名健康成年人完成了八个标准化的八段锦动作。Kinect v2捕捉了3D骨骼运动数据（25个关节，30 Hz），而FLIR热成像相机记录了腹部、腰部、胸部/肩部和膝盖/颈部等解剖学和文化上重要的区域的表面温度变化。经过同步和校准后，我们提取了二十个运动特征和八个温度特征。我们使用前馈人工神经网络（64–32–16层，ReLU激活函数，dropout机制）在嵌套交叉验证下进行训练，并通过随机分割和留一法（LOSO）进行评估。通过与专家评分的一致性进行了Bland–Altman检验和组内相关性（ICC）分析，并通过扰动测试和蒙特卡洛dropout方法评估了模型的鲁棒性和预测不确定性。

结果

多模态人工神经网络在随机分割上的均方根误差（RMSE）为8.7（95%置信区间[7.9, 9.5]），R²值为0.93；在留一法上的RMSE为9.6，R²值为0.89，优于仅使用Kinect（R²=0.82）、仅使用IRT（R²=0.80）和传统基线方法（SVR、随机森林）。与专家评分的一致性很高（r=0.92；ICC(2,1)=0.88），平均偏差为-0.3，一致性范围为±6.0分。温度响应揭示了特定动作的生理模式（例如腹部温度升高和腰部激活），支持了评估的可解释性。

结论

所提出的低成本、非侵入式框架能够实现客观、可靠且可解释的康复评估，展示了其在临床治疗、老年人社区项目和个性化远程健康监测中的转化潜力。

引言

对康复锻炼的准确和客观评估对于患者监测和基于证据的临床实践至关重要。传统的评估方法主要依赖于临床医生的视觉检查，这具有主观性、劳动强度高且难以扩展到社区或家庭康复中。随着数字健康技术的广泛应用，迫切需要可靠、可解释且具有临床相关性的自动化方法。

无标记运动捕捉和红外热成像（IRT）代表了两种互补的传感技术。基于Kinect的系统可以捕捉骨骼运动数据，而IRT可以提供与肌肉激活和血液循环相关的非接触式生理信息。人工智能（AI）使得这些异构数据流能够被整合，但现有研究通常分别关注生物力学或生理学，限制了对康复锻炼的全面评估。

最近在康复信息学领域的进展越来越多地采用多模态和AI驱动的方法，能够同时捕捉生物力学表现和潜在的生理反应[[1], [2], [3], [4], [5], [6], [7], [8], [9]]。基于Kinect的运动评估结合深度学习在神经学和肌肉骨骼应用中显示出潜力[[10], [11], [12], [13]]，而IRT作为一种敏感的非侵入式技术，可用于评估运动过程中的血液循环、肌肉骨骼负荷和体温调节[[14], [15], [16], [17]]。更现代的多模态框架整合了运动数据、热成像和可穿戴传感器，证明了融合不同模态可以提高模型的鲁棒性、泛化能力和临床相关性[[18], [19], [20], [21]]。基于深度学习的融合模型通过识别生理意义上的特征（如温度梯度、特定区域的激活或双侧对称性）进一步增强了可解释性[[22], [23], [24]]，并被认为对于家庭和远程康复环境中的应用至关重要[[22], [25], [26]]。尽管取得了这些进展，但很少有研究将无标记3D运动数据与温度响应结合起来，共同量化运动质量和生理调节——特别是对于像八段锦这样的具有文化背景的身心练习，其中生物力学的正确性和器官相关的温度变化都对治疗效果至关重要。

八段锦是一种在中国广泛实践的传统低强度锻炼，越来越多地被推荐用于老年护理和慢性疾病管理。然而，其临床应用受到缺乏客观评估工具的制约，这些工具能够评估姿势质量和治疗效果。之前使用Kinect或IRT单独进行的研究虽然证明了可行性，但未能实现全面整合[27]。

为了填补这一空白，我们提出了一个基于AI的多模态框架，通过人工神经网络（ANN）融合Kinect运动数据和温度响应。这种方法不仅提高了预测准确性，还提供了符合整体康复原则的生理学解释。

主要贡献包括：

• 1.
  整合运动和温度信号的多模态框架，用于康复评估。
• 2.
  基于ANN的回归模型，实现了更高的准确性和与专家评分的一致性。
• 3.
  通过特定动作的温度响应实现生理学解释。
• 4.
  对老年护理、中风康复和远程健康监测具有实际应用价值。

方法部分

伦理声明

所有涉及人类参与者的程序都符合国际公认的伦理标准，包括2013年修订版的《赫尔辛基宣言》。由于本研究仅涉及对健康志愿者的非侵入性运动捕捉和热成像，没有医疗干预或敏感个人信息的收集，因此根据当地政策，该协议被视为低风险，无需正式的机构审查委员会（IRB）批准。

数据集总结和评分者可靠性

专家评分者之间的可靠性非常好，ICC(2,1) = 0.91（95%置信区间[0.84, 0.96]），表明评分标准一致，0–100分量表的使用稳定。专家评分与同行评分之间的相关性为0.88，而专家自我评分之间的相关性为0.76，反映了自我感知与专家判断之间的预期差异。重复实验组（n=8）在几天内的评分标准差为4.5分，证明了表现的稳定性。

讨论

通过将基于Kinect的运动数据与IRT衍生的生理信息相结合，本研究展示了一种实现客观、可靠且可解释的康复锻炼评估的原理性方法。在随机分割、嵌套验证和留一法验证中观察到的准确性提升表明，热成像捕捉的生理响应提供了运动系统难以单独推断的补充信息，尤其是在

结论

本研究提出了一个基于AI的多模态传感器融合框架，将Kinect运动数据与红外热成像结合，以提供八段锦康复动作的客观和定量评估。基于ANN的融合模型在准确性、可靠性和与专家评分的一致性方面优于单模态和传统机器学习方法。鲁棒性分析证实了模型在环境变化下的稳定性能，同时量化了不确定性。

CRediT作者贡献声明

王一涵：可视化、软件、项目管理。王志强：方法论、调查、正式分析、数据整理。曹宁：撰写初稿、可视化、软件。曹月：撰写与编辑、可视化、项目管理。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。

致谢

我们感谢所有参与者的自愿参与。所有程序均符合低风险人类研究的伦理标准，并遵循《赫尔辛基宣言》进行。