随着个人可穿戴设备和人工智能(AI)支持的应用程序的迅速增加,物联网(IoT)正在渗透到生活的各个方面,如智能医疗保健、工业物联网、自动驾驶等(Ma, Zhou, Ma, Yu, Li, He, Pei, 2025; Nguyen, Ding, Pathirana, Seneviratne, Li, Poor, 2021)。然而,鉴于现代物联网网络的高可扩展性和日益严重的数据隐私问题,传统的集中式AI存在许多局限性。联邦学习(FL)是一种先进的分布式机器学习范式,它允许在分布式IoT设备上进行AI训练,同时保护客户端隐私和数据安全(McMahan, Moore, Ramage, Hampson, & Arcas, 2017)。它充分利用了去中心化数据,允许客户端在不直接共享原始数据的情况下协作训练全局模型,从而实现跨设备和跨组织的协作训练(Kairouz et al., 2021)。其隐私保护和灵活扩展的特性在物联网领域显示出重要的应用价值。通过FL,模型可以从IoT设备中受益,而不会侵犯客户端数据隐私(Ghimire, Rawat, 2022; Zhang, Gao, He, Zhang, Krishnamachari, Avestimehr, 2022)。
大多数联邦学习系统采用完全监督学习来训练模型,因此数据质量对模型性能至关重要(Zhang et al., 2019)。训练一个好的模型无疑依赖于正确标记的数据集,但构建这样的高质量标记数据集成本很高。与集中式深度学习不同,FL系统中的客户端独立收集和标注私有数据,而大量数据导致标注者在标注过程中不可避免地会出现错误标注。此外,由于真实环境、标注者的知识背景以及标签推理自动化中的错误等因素,每个客户端都存在一定程度的标签噪声,最终导致标记数据集的质量差异(Xiao, Xia, Yang, Huang, & Wang, 2015)。直接使用带有标签噪声的数据集训练模型会导致标签噪声过拟合,从而降低模型的准确性和泛化性能(Arpit et al., 2017)。此外,从噪声数据集中提取高质量标记数据需要大量的资源开销。考虑到FL的基础限制,要求客户端净化数据变得难以实现。因此,在联邦学习系统中,噪声客户端普遍存在标签噪声问题,如果不采用专门的噪声处理机制来解决这个问题,将降低全局模型的泛化性能。
由于联邦学习的协作训练特性(无需暴露原始数据),它具有广泛的应用前景(Ji et al., 2024a)。但在实际应用中,标签噪声成为FL领域需要面对的关键障碍之一(Zhao, Chu, Tao, & Pei, 2019)。深度神经网络(DNN)容易在数据集中过拟合标签噪声,导致模型泛化性能较差(Li, Socher, & Hoi, Tanaka, Ikami, Yamasaki, Aizawa, 2018; Zhang, Bengio, Hardt, Recht, Vinyals, 2021a)。研究表明(Arpit, Jastrzebski, Ballas, Krueger, Bengio, Kanwal, Maharaj, Fischer, Courville, Bengio, et al., 2017; Ma, Wang, Houle, Zhou, Erfani, Xia, Wijewickrema, Bailey, 2018),在训练的不同阶段,DNN的学习能力存在差异。具体来说,DNN在预训练阶段倾向于适应数据的整体特征,在训练后阶段逐渐过拟合标签噪声,从而严重损害模型的泛化能力。在FL环境中,客户端之间的差异加剧了这一问题。现有研究从不同角度分析了标签噪声问题,并提出了有效的高级方法来应对带有标签噪声的FL(Chen, Yang, Qin, Yu, Chan, Shen, 2020; Jiang, Sun, Li, Xue, Li, Wu, Xu, Wang, Liu, 2024; Tam, Li, Han, Xu, Fu, 2023; Tsouvalas, Saeed, Ozcelebi, Meratnia, 2024; Wu, Yu, Jiang, Cheng, & Yan, Xu, Chen, Quek, Chong, 2022; Yang, Park, Byun, Kim, 2022)。例如,Chen等人(Chen et al., 2020)通过计算模型在本地数据集和基准样本上的互信息熵来量化数据置信度;Wu等人(Wu et al., 2023)使用知识蒸馏来减轻本地训练中的标签噪声过拟合。值得注意的是,很少有方法从损失函数调整的角度研究FL。交叉熵损失(CE)是FL分类任务中常用的损失函数,它为DNN提供了强大的拟合能力,但在复杂情况下会增加标签噪声过拟合的风险(Zhang, Zhu, Li, Cai, & Yang, 2024)。鲁棒损失函数是一类简洁高效的标签噪声处理策略(Zhang & Sabuncu, 2018),它们通常在单个客户端上执行噪声处理,无需额外的数据信息或通信成本(Song, Kim, Park, Shin, & Lee, 2022)。这种低数据泄露风险的策略与FL的特性相兼容。因此,一种能够在拟合能力和鲁棒性之间动态平衡的损失函数可以简洁高效地解决标签噪声问题。
基于上述分析,我们引入了动态感知损失(DAL)(Li et al., 2023),并提出了一个自适应框架FedDAL来应对带有标签噪声的FL。在该框架中,使用不可靠性得分和正态分布来分类干净客户端和噪声客户端,并设计了距离敏感截断(DST)来提高识别噪声客户端的准确性。随后,引入了动态感知损失来减轻标签噪声的负面影响。最后,通过损失重新加权来聚合全局模型。我们在这项研究中的主要贡献包括:
1.从损失函数调整的角度分析标签噪声的负面影响以及鲁棒损失函数对联邦学习的影响,并提出一个自适应框架FedDAL来解决联邦学习中的标签噪声问题。
2.设计创新的距离敏感截断来提高噪声客户端的识别准确性,引入动态感知损失来对抗噪声客户端中的标签噪声,并应用聚合类别平均损失来改进联邦平均算法。
3.在多个数据集上的实验结果表明,FedDAL在不同噪声分布下提高了模型性能,并优于现有方法。