面向非独立同分布多模态数据缺失的鲁棒联邦学习框架MFedNI研究

时间：2025年6月13日

来源：Future Generation Computer Systems

编辑推荐：

针对联邦学习(FL)中非独立同分布(non-IID)多模态数据缺失导致的模型性能下降问题，研究人员提出新型框架MFedNI。该框架通过跨模态时序特征融合(CMTFF)模块自适应调整模态权重，结合原型对比学习(PCL)特征对齐方法，显著提升模型在HAR和DEAP数据集上的准确性，为隐私保护下的多模态数据分析提供创新解决方案。

在人工智能与医疗健康深度融合的背景下，多模态数据（如同时采集的生理信号、运动轨迹和语音记录）正成为疾病诊断和健康监测的重要依据。然而现实场景中，由于传感器故障或隐私限制，数据常呈现模态缺失和非独立同分布(non-IID)特性——这如同试图用残缺的拼图还原完整画面，传统联邦学习(Federated Learning, FL)方法面临严峻挑战。现有研究或假设模态完整，或仅针对集中式数据设计，难以应对分布式环境中模态动态缺失与数据分布偏移的双重困境。

针对这一难题，中国研究人员提出MFedNI框架，其创新性体现在三方面：首先开发的跨模态时序特征融合(CMTFF)模块，通过滑动窗口捕捉时间序列相关性，并采用模态注意力机制动态平衡缺失模态的影响；其次引入原型对比学习(Prototypical Contrastive Learning, PCL)对齐不同客户端特征空间，缓解non-IID分布导致的特征漂移；最终通过联邦聚合机制实现隐私保护下的协同训练。研究采用人类活动识别(HAR)和情绪识别(DEAP)两个经典多模态数据集，模拟不同缺失率(10%-50%)和分布偏移场景验证有效性。

关键方法

跨模态时序特征融合(CMTFF)：采用双向LSTM提取时序特征，通过自注意力机制(SABFE)计算模态间权重
原型对比学习(PCL)：服务器维护类别原型库，通过对比损失约束客户端特征分布一致性
动态加权聚合：根据客户端模态完整性动态调整全局模型聚合权重

研究结果

模态缺失补偿效果：在50%模态缺失率下，MFedNI在HAR数据集准确率达89.7%，较基线FedAvg提升23.5%
非IID适应性：通过t-SNE可视化证实PCL模块使不同客户端特征空间重叠度提高40%
消融实验：移除CMTFF模块导致DEAP数据集AUC下降0.15，验证跨模态交互的必要性

结论与展望
该研究首次系统解决FL中non-IID多模态数据缺失的协同学习问题，通过理论分析和实验证明：时序相关性可利用性（即使部分模态缺失）和特征空间一致性是提升性能的关键。MFedNI在医疗健康领域具有广泛应用前景，如跨机构多中心研究中的隐私保护数据分析。未来工作将探索框架在非时序数据（如医学影像与文本组合）中的泛化能力，并进一步优化通信效率以适应边缘计算场景。论文发表于《Future Generation Computer Systems》，为分布式人工智能与多模态学习的交叉研究提供了新范式。