基于部分标签掩码加权蒸馏的联邦学习

Jihao Yang|Wen Jiang|Laisen Nie

摘要

联邦学习是一种新兴的分布式机器学习范式，它能够在不损害本地数据隐私的情况下协同训练全局模型，因此受到了广泛关注。然而，联邦学习中数据异质性的固有挑战导致了严重的模型遗忘问题，从而显著降低了模型性能。解决这一问题对于联邦学习的进一步发展至关重要。为了降低灾难性遗忘的风险，我们提出了一种基于部分标签掩码加权蒸馏（FedPLD）的联邦学习算法。该算法通过从本地数据分布之外的少数类别中提取知识，并通过全局模型加权来增强教师模型的生成能力，从而应对数据异质性带来的遗忘问题。实验结果表明，我们的方法在多种数据异质性条件下，能够在多个数据集上实现更优的模型性能，且不会增加额外的通信开销。