基于区块链的分层联邦学习在边缘云中的激励机制设计

区块链与分层联邦学习融合的激励机制设计及优化算法研究，提出基于半异步聚合的三阶段Stackelberg博弈模型，通过ADMM算法求解高维策略空间的纳什均衡，实验证明该机制在参与方效用和模型精度上均优于基线方法，并提升7%的模型准确率。

Xuanzhang Liu|Jiyao Liu|Xinliang Wei|Yu Wang

美国宾夕法尼亚州费城天普大学计算机与信息科学系，邮编19112

摘要

联邦学习（FL）是一种有前景的分布式人工智能范式，它通过在本地设备（如物联网设备）上训练模型来保护用户隐私。然而，FL系统面临着高通信开销和模型聚合不透明等挑战。为了解决这些问题，将区块链技术集成到分层联邦学习（HFL）中，以构建一个去中心化、低延迟且透明的学习框架，这种做法受到了关注。为了确保边缘服务器和客户的参与度，本文探讨了基于区块链的HFL系统中的激励机制设计，该系统使用了半异步聚合模型。我们将客户端、边缘服务器和云端任务发布者之间的资源定价建模为一个三阶段斯塔克伯格博弈（Stackelberg game），证明了纳什均衡（Nash equilibrium）的存在性，在这种均衡下，每个参与者都可以最大化自己的效用。然后提出了一种基于交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）和反向归纳（backward induction）的迭代算法来优化策略。广泛的仿真验证了该算法的快速收敛性，并证明我们提出的机制在各种场景下都能持续优于基线策略。我们的方法还使模型准确率提高了高达7%，证实了其实际有效性。

引言

联邦学习（FL）[1]、[2]、[3]、[4]通过利用本地设备（例如物联网（IoT）设备[5]）进行分布式人工智能模型训练来增强数据隐私。传统的FL依赖于中央服务器进行梯度聚合，这导致了两个主要问题：（1）由于客户端资源有限且异构，通信成本高且学习时间长；（2）在不受信任的服务器上聚合全局模型时存在安全风险，尤其是当客户端行为自私时[6]。需要一种更高效、更稳健的FL方法来缓解这些问题。为了减少通信瓶颈并提高可扩展性，引入了基于边缘系统的分层FL（HFL）[6]、[7]、[8]、[9]、[10]。HFL利用边缘服务器进行中间模型聚合，减少了中央服务器的流量并通过最小化全局通信和客户端退出速度来加速收敛。为了提高安全性和透明度，基于区块链的FL[11]、[12]、[13]、[14]、[15]、[16]用去中心化的聚合器替换了中央服务器。本地更新被记录为交易并追加到共享账本中，确保了可追溯性，降低了恶意行为的风险，并减轻了单点故障的影响。此外，区块链还可以降低全局聚合的通信成本。

自然地，结合区块链技术和分层FL可以解决FL上述的两个挑战，并使基于区块链的分层FL[10]、[17]能够支持基于边缘的智能（Edge AI）。图1展示了这种基于区块链的HFL在云-边缘-客户端架构下的总体架构。它通常包括一组边缘服务器和分布式客户端（移动设备或IoT设备），这些设备连接在一个区块链网络中。由于边缘服务器具有更高的计算能力，它们充当区块链节点，承担两个主要职责：它们执行挖矿以创建新块，这些新块用于存储和验证分布式账本上的交易记录；同时，它们还充当其连接的客户端提交的模型更新的聚合器。客户端通过边缘服务器连接到区块链网络，并可以参与本地训练或帮助边缘服务器进行挖矿。我们还假设模型所有者位于远程云端，并将从区块链网络中宣布和收集全局模型。

由于这种基于区块链的分层FL的性能在很大程度上取决于边缘服务器（用于模型聚合和挖矿）和客户端（用于提供数据、训练本地模型或挖矿）的参与度，因此激励机制的设计对于激发这些参与者提供私有数据或计算资源以完成整个FL训练/挖矿任务至关重要。显然，如果参与完全是自愿的，客户端和边缘服务器可能不愿意贡献他们的能源、计算/网络资源和大量数据。在本文中，我们主要研究了一种基于区块链的分层FL系统的激励机制设计，通过激励任务发布者、边缘服务器和移动设备共同努力，以实现高效的训练和挖矿过程。

FL系统可以根据其聚合协议进行分类：同步更新或异步更新。在Wang等人[10]使用的同步FL中，所有客户端必须在聚合之前完成更新，这会导致由于落后者而产生的延迟。相比之下，Feng等人[17]提出了一个使用工作证明（Proof-of-Work, PoW）区块链的异步FL框架，但频繁的挖矿和大量的点对点通信会导致高延迟。为了平衡收敛速度和共识频率，我们采用了半异步更新协议[18]。

我们在这个基于半异步区块链的HFL系统中对不同参与者的效用进行了建模，考虑了崩溃概率和过时更新的影响，并将这种互动形式化为一个三阶段斯塔克伯格博弈[19]。在这个博弈中，边缘服务器和客户端必须共同确定多个策略变量，例如客户端的训练数据大小和挖矿努力，以及边缘服务器的训练和挖矿单价。这导致了一个高维的策略空间，其目标紧密耦合。由此产生的结构复杂性，加上系统的去中心化和异步特性，使得传统的均衡求解方法（如反向归纳）在直接应用于整个博弈时不适用或计算效率低下。为了解决这些挑战，我们采用了基于交替方向乘子法（ADMM）的迭代优化框架[20]，以可扩展和分布的方式解决较低层次的博弈。一旦获得了较低层次的均衡，就应用反向归纳来确定任务发布者的最优奖励策略。

本工作的贡献可以总结如下：

•

我们基于三阶段斯塔克伯格博弈设计了一种激励机制，用于模拟半异步基于区块链的HFL边缘系统中客户端、边缘服务器和任务发布者之间的互动。每个客户端都旨在最大化其训练效用或挖矿效用，这取决于边缘服务器提供的资源奖励；而每个边缘服务器则专注于根据任务发布者提供的资源价格来最大化其训练和挖矿效用。

•

我们证明了所建模博弈中纳什均衡的存在性和唯一性，因此没有人有动机改变从博弈中得出的最优策略。为了高效获得这些最优策略，我们设计了一种基于ADMM和反向归纳的迭代算法。这种混合方法旨在管理由高维策略空间和去中心化执行环境带来的复杂性。

•

我们进行了数值仿真来评估所提出方法的性能。仿真结果显示，我们的迭代算法能够快速收敛到最优解，并在不同场景下为所有参与者实现了更好的效用。

本工作的其余部分组织如下。第2节中，我们回顾了有关基于区块链的FL/HFL及其激励设计的相关研究。第3节中，我们介绍了基于区块链的FL架构的系统模型，并提供了每个实体的效用模型。然后我们在第4节构建了三阶段斯塔克伯格博弈来分析客户端、边缘服务器和云端之间的均衡。第5节中，我们提出了一种迭代算法来解决激励机制的博弈。第6节展示了仿真结果和性能分析，第7节是我们的结论。

章节片段

结构设计与性能优化

虽然基于区块链的FL在提高FL训练的安全性和透明度方面具有潜力，但它仍然面临一些性能挑战[12]、[13]、[14]、[15]，例如由于挖矿导致的延迟延长、资源管理的挑战、学习性能/效率的权衡，以及来自好奇矿工/训练者的安全/隐私问题。因此，最近有一些努力设计各种基于区块链的FL结构以满足不同的需求。

Pokhrel和Choi [16]

系统架构

如图1所示，我们利用云-边缘-客户端架构来支持基于区块链的联邦学习，该架构由三个实体组成：

•

客户端：总共有N个客户端，表示为$C=\{c_1,c_2,\; \dots ,c_N\}$

客户端是拥有计算资源和训练数据的独立设备，这些资源可用于FL任务的训练。客户端还可以根据他们的能力和提供的激励措施选择将计算资源分配给挖矿。客户端

三阶段斯塔克伯格博弈建模与均衡分析

在本节中，将训练过程建模为一个具有完全信息的多领导者多追随者三阶段斯塔克伯格博弈。斯塔克伯格博弈是一种常见的分析方法，用于捕捉理性代理之间的顺序互动[30]、[34]。接下来，我们为这个博弈的每个阶段构建了优化问题。然后，我们分析了每个阶段纳什均衡（NE）的存在性和唯一性，并找到了博弈中的最优策略组合。

算法设计

在我们的基于区块链的分层联邦学习框架中，领导者（位于云端的模型所有者）首先行动，然后追随者（边缘服务器）做出响应，随后客户端据此采取行动。这可以被视为两个两阶段斯塔克伯格博弈的组合：一个是单一领导者与多个追随者的结构，另一个是多个领导者与多个追随者的结构。

ADMM算法可以将复杂的优化问题分解为多个子问题来处理

仿真评估

在本节中，我们进行了几次仿真来验证我们提出的方案的有效性和效率。我们首先基于ADMM和反向归纳评估了我们的迭代算法的收敛性，然后在不同参数设置下将所设计的激励机制的性能与几种基线算法进行了比较。

结论

在本文中，我们提出了一种用于基于边缘云的半异步、基于区块链的HFL框架的新激励机制。我们的方法解决了去中心化Edge AI中参与者参与度和系统效率的关键挑战。通过将云端任务发布者、边缘服务器和客户端之间的互动建模为一个三阶段斯塔克伯格博弈，我们从理论上证明了纳什均衡的存在性和唯一性。为了解决这个复杂的博弈，我们开发了一种高效的

CRediT作者贡献声明

Xuanzhang Liu：撰写——原始草案。Jiyao Liu：项目管理。Xinliang Wei：撰写——审阅与编辑。Yu Wang：撰写——审阅与编辑、监督、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。