一种结合差分隐私和事件触发机制的联邦学习算法

本文提出一种结合差分隐私与事件触发的联邦学习算法ETC-FedDP，通过动态调整通信阈值和添加高斯噪声，有效降低通信开销并保障隐私。理论分析证明其收敛性和隐私保护，实验验证在图像分类数据集上表现优于基线方法。

张毅|高慧敏|马亚楠|李梅文|徐勇

河南科技大学数学与统计学院，中国河南省洛阳市开元大道263号，471023

摘要

联邦学习（FL）作为一种分布式机器学习策略，通过传输更新的模型参数来实现协作式模型训练。然而，联邦系统经常受到恶意攻击，这可能导致敏感数据泄露。为了解决这个问题，引入了差分隐私（DP）技术来提供有效的隐私保护，尽管这通常会以降低模型精度为代价。这通常会导致频繁的参数交换和大量的通信开销。在本文中，我们提出了一种结合差分隐私和事件触发机制的联邦学习算法（ETC-FedDP），将这两种技术整合到一个统一的联邦学习框架中，以同时降低通信成本并确保隐私保护。我们对所提出的框架建立了渐近收敛性分析，并进行了严格的隐私预算分析，为收敛性和隐私保护提供了正式证明。最后，我们的算法在三个常用的图像分类数据集上进行了验证，实验结果表明，我们的算法测试精度与联邦平均算法相当，并且相比基线算法有所改进。

引言

联邦学习（FL）（McMahan等人，2017a）是一种分布式机器学习范式（Cheng等人，2019；Abdelsalam等人，2024；Alsedais等人，2024），它允许客户端通过仅交换模型更新来协作训练共享模型，而无需暴露他们的本地数据集。每个客户端从中央服务器接收全局模型进行本地训练，然后仅上传更新的模型参数，而不是原始数据。服务器汇总这些参数以生成更新后的全局模型，这个过程重复进行直到收敛（Wei等人，2023）。这种方法保护了数据隐私，避免了数据集中化，利用分布式数据提高了模型性能，并有助于缓解数据碎片化和孤岛问题（Xu和Tan，2024）。因此，联邦学习为医疗保健、金融（Baah-Peprah和Shneor，2022）和物联网（Blanco-Justicia等人，2021）等隐私敏感领域的数据融合提供了有效的解决方案。

然而，现有研究（Wang等人，2019；Nasr等人，2019；Zhu等人，2019）表明，仅仅限制数据共享是不够的。联邦学习系统仍可能受到好奇参与者或不诚实客户端的恶意隐私提取攻击。当恶意攻击者（如成员推断攻击（Shokri等人，2017）能够访问模型权重时，个人数据将会泄露。为了保护数据隐私并防御这些攻击，已经将差分隐私（Sweeney，2002；Dwork等人，2006）、同态加密（Aono等人，2017）和安全多方计算（Yao，1982）等隐私保护方法引入到联邦学习系统中。差分隐私因其可量化、可证明和强大的保障而被广泛采用。

差分隐私（DP）由Dwork（Dwork等人，2006）提出，它限制了任何单个记录对数据集分析结果的影响，使得攻击者难以推断出具体的个人信息。它最初是为了解决统计数据库中的隐私泄露问题而设计的，现在广泛应用于推荐系统（Frank和Mironov，2009）、网络行为分析和联邦学习等领域。在联邦学习中，开创性工作（McMahan等人，2017b）提出了差分隐私联邦学习（DPFL），它在客户端数据中添加噪声扰动，有效降低了隐私泄露风险并显著增强了隐私保护。

联邦学习的另一个瓶颈是通信开销。中央服务器和客户端之间频繁传输模型参数会带来相当大的通信成本（He等人，2023）。现有研究（Aslam等人，2024；Chandrasekar等人，2025；Li等人，2021；Beilharz等人，2021）提出了各种方法来缓解这个问题。一种方法通过数据量化或稀疏化减少每轮的通信量，但这往往会导致信息丢失，从而降低模型性能。另一种策略在保持数据完整性的同时减少通信轮次。事件触发机制（ETM）通过降低客户端和中央服务器之间的参数传输频率来缓解这一挑战，从而在不牺牲重要数据的情况下降低通信成本。

在现有的隐私保护和通信效率研究中，如（Hu等人，2021；Yang等人，2024；Xing等人，2025）等采用了数据稀疏化技术。例如，Yang等人（2024）提出的GFL-ALDPA框架将自适应局部差分隐私与梯度压缩相结合，本质上进行了数据稀疏化。这种压缩会降低模型性能，因为它不可避免地丢弃了重要的梯度信息，从而影响训练结果。同时，包括（He等人，2023；Chen等人，2024；Ding等人，2025；Liu等人，2025）在内的工作采用了事件触发策略。其中，Chen等人（2024）提出的CLFLDP模型选择性地上传高度相关的网络层——这种方法作为一种事件触发机制。然而，它依赖于固定的阈值，未能考虑训练过程中的模型动态，并且灵活性有限。

受上述工作的启发，本文提出了一种结合差分隐私和事件触发机制的联邦学习算法（ETC-FedDP）来缓解上述问题。该方法通过设计多种通信阈值计算策略、动态调整阈值以及分析不同策略下的通信成本降低情况来减轻通信开销。此外，通过将高斯噪声引入梯度更新来引入差分隐私，从而有效保护客户端隐私。表1提供了我们的算法与现有研究之间的区别总结。

总之，本文的主要贡献如下：

• •
  我们提出了一种结合差分隐私和事件触发机制的联邦学习算法（ETC-FedDP）。通过将高斯噪声引入梯度更新并在客户端和中央服务器上部署事件触发条件，该算法实现了双重驱动效果。
• •
  我们对ETC-FedDP进行了严格的理论分析。对于具有有界梯度的强凸目标，我们证明了算法的预期渐近收敛性并推导出其收敛速率。此外，隐私预算分析验证了ETC-FedDP满足差分隐私要求。
• •
  我们通过三个广泛使用的图像分类数据集对ETC-FedDP进行了数值实验评估，并将其与代表性的基线方法进行了比较。结果显示，在相同条件下，我们的算法性能与FedAvg相当，同时在模型精度上明显优于DPFL。

本工作的其余部分结构如下：第2节回顾了相关工作，第3节介绍了初步内容。第4节介绍了算法设计和实现，第5节建立了理论分析，第6节讨论了实验结果，第7节提出了讨论和未来工作，第8节给出了结论。

相关研究

相关研究

联邦学习面临的关键挑战包括高通信开销和模型性能不足。为了解决通信效率和模型精度问题，许多研究提出了创新的联邦学习算法。

事件触发机制被用来降低通信成本。He等人（2023）的工作提出了一种事件触发的随机梯度下降方法，其中只有在梯度满足预定义条件时才将其广播到服务器。

初步内容

在本文的这一部分，我们简要介绍了联邦学习、差分隐私和事件触发机制的核心概念。此外，表2总结了本文中使用的主要数学符号。

算法设计与实现

在本节中，我们详细介绍了本文的算法——结合差分隐私和事件触发机制的联邦学习算法（ETC-FedDP）。该算法基于联邦平均算法，集成了差分隐私和事件触发机制。通过客户端之间的协作训练，该算法旨在获得最优模型，同时显著降低通信成本并确保私人数据的安全。

理论分析

在本节中，我们对提出的ETC-FedDP算法进行了理论分析，重点关注预期收敛性和隐私保护。

实验结果

本节通过全面的实验系统验证了我们提出的ETC-FedDP算法的有效性。我们在三个标准基准数据集上与三种基线方法进行了比较研究，从三个关键维度进行了严格评估：模型性能、隐私保护和通信效率。

所有实验都是使用PyTorch-2.6框架实现的，部署在配备了Intel(R) Xeon(R) Silver 4410Y处理器的Windows 11 Pro服务器上。

讨论与未来工作

在本节中，我们分析和讨论了本工作的贡献，并概述了未来研究的潜在方向。

首先，我们总结了核心机制。ETC-FedDP的主要性能改进在于其选择性通信机制。与每轮都添加噪声并上传模型的传统DPFL方案不同，事件触发机制实际上起到了过滤器的作用。它只选择那些具有重要意义的更新进行传输。

结论

本文提出了一种结合差分隐私和事件触发机制的联邦学习算法（ETC-FedDP）。通过引入高斯噪声扰动以实现差分隐私，并实施动态事件触发阈值，我们的方法同时确保了严格的隐私保障，并显著降低了通信开销，有效解决了联邦学习框架中的隐私泄露和过度通信成本的双重挑战。

资金来源

本研究部分得到了河南省关键技术研究与发展计划（项目编号242102210102）的支持，部分得到了河南科技大学博士研究启动基金（项目编号13480097）的支持。

CRediT作者贡献声明

张毅：撰写——原始草稿，方法论。高慧敏：撰写——审阅与编辑，方法论，资金获取。马亚楠：形式分析，概念化。李梅文：验证，资源。徐勇：监督，项目管理。

利益冲突声明

作者声明以下财务利益/个人关系可能被视为潜在的利益冲突：作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。