研究人员提出了一种基于智能手机与惯性传感器的多模态智能诊断框架，用于在家庭环境中实现肌少症的辅助诊断。该框架首先采用轻量化数据采集方案，仅依靠智能手机摄像头采集自然步态视频，并同步双侧踝关节惯性测量单元(IMU)信号，降低了对受控实验室环境的依赖。其次，针对老年人动作差异大及运动任务不标准化的挑战，研究人员设计了基于三维时空骨骼拓扑感知的特征表示方法，能够在无约束条件下稳定提取全局运动模式。随后，构建了多模态分层融合网络(MHF‑Net)，从骨骼序列中提取全局运动特征，并利用时序自注意力机制建模双侧IMU信号，实现了多源信息的深度融合。在包含60例肌少症患者与40例健康对照的临床数据集中，该模型的识别准确率达到97.04%。最后，结合医疗大语言模型(MedLLM)与提示工程技术，将诊断结果与个体化临床信息进行联合推理，为持续家庭监测和个性化干预提供了可扩展的智能解决方案。
该研究发表于《Engineering Applications of Artificial Intelligence》，针对人口老龄化背景下肌少症早期筛查与干预需求展开。肌少症是一种以骨骼肌质量、力量及身体功能进行性下降为特征的老年综合征，会显著增加跌倒、骨折、残疾及死亡风险。现有诊断方法依赖双能X线吸收仪(DXA)、磁共振成像(MRI)和生物电阻抗分析(BIA)等专业设备与人员，且多为静态评估，难以在社区和家庭环境中实现高频监测。基于步态变化可反映神经肌肉控制异常的原理，研究人员结合计算机视觉与可穿戴传感的优势，克服单一模态信息孤岛问题，并引入医疗大语言模型实现从检测到干预的闭环管理。
关键技术方法包括：在家庭环境下招募由大连医科大学伦理委员会批准(No. DMUE‑2025002)的100名参与者（60例肌少症，40例健康对照），利用智能手机摄像头采集自然步态视频，同时同步双侧踝关节IMU信号；设计骨骼拓扑感知图注意力模块(ST‑GAM)提取跨视角稳健的空间特征；构建多模态分层融合网络(MHF‑Net)，融合视觉骨骼序列与IMU时序信号，并通过自适应权重机制捕捉病理性步态不对称特征；最终集成医疗大语言模型(MedLLM)生成个性化康复处方与营养指导。
研究结果如下：
疾病诊断基于计算机视觉
研究人员指出，深度学习驱动的无标记姿态估计已取代手工特征管道，成为视觉步态分析主流。针对肌少症相关的步态动态变化，采用循环网络、三维卷积网络及Transformer等模型可有效捕获步态周期内的时序特征。
纳入标准与数据采集
研究在家庭环境中采集数据，以减少刻意姿势调整带来的伪影。纳入标准确保样本代表性，并覆盖不同年龄、性别及病程阶段。
模型架构与方法
MHF‑Net采用并行双流结构：视觉流构建骨骼图，通过ST‑GAM提取空间特征；惯性流利用时序自注意力与动态融合建模双侧IMU信号，实现跨模态互补。
评估指标与实现细节
采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数及参数量评估模型性能，并在临床数据集上验证其高效性与低计算复杂度。
结论
研究人员证实，该框架突破了传统单模态与受控环境限制，实现了在家庭场景下的高精度肌少症筛查。通过多模态融合与医疗大语言模型干预，首次建立了感知—诊断—干预的完整闭环，为老年人群的健康管理与早期干预提供了可推广的智能解决方案。
讨论
研究强调，MHF‑Net在不规则家庭环境中保持了高鲁棒性，并能自适应捕捉双侧肢体功能差异。结合MedLLM生成的个性化康复建议，弥补了算法预测与临床可解释性之间的缺口，有望推动家庭健康管理系统的实际应用。
研究结论翻译
肌少症是一种与年龄相关的综合征，以骨骼肌质量、力量和身体功能的进行性丧失为特征，严重影响老年人的生活质量并增加死亡率。尽管已有研究尝试利用医学影像、可穿戴传感器和数据驱动模型进行早期诊断，但多数方法依赖单模态数据或受控环境，限制了其在现实场景中的适用性和临床推广。本研究提出的多模态分层融合网络(MHF‑Net)与医疗大语言模型驱动的闭环系统，在家庭环境中实现了高精度筛查与个性化干预，为老年肌少症管理提供了新的可行路径。
打赏
