动态分块驱动的分布式系统智能传输机制

生物通首页 > 今日动态 > 正文

动态分块驱动的分布式系统智能传输机制

时间：2026年2月4日

来源：Knowledge-Based Systems

编辑推荐：

提出一种基于动态分块和深度强化学习的分布式数据传输机制，通过实时监控网络状态和优化分块策略提升传输效率，结合P2P协议和分布式哈希表实现高效数据分发。实验表明在传输时长、吞吐量和优化率上分别优于传统方法22%、28%和31%。

作者：吕恩良、王星伟、易波、卢浩、黄敏、寇月、李克勤

东北大学计算机科学与技术学院，中国沈阳，110819

摘要

随着网络复杂性和规模的不断增长，确保节点间的数据高效传输并维持系统稳定性已成为网络企业面临的关键挑战。然而，传统的分布式数据传输机制在复杂和动态的网络环境下往往无法满足性能要求，导致数据传输效率低下、延迟增加以及潜在的节点故障。为了解决这些问题，我们提出了一种基于动态分块的智能传输机制，旨在实现分布式系统中的高效稳定数据传输。该机制实时监控网络状况，并将数据分块问题表述为马尔可夫决策过程（MDP）。为了得出最优的分块决策，我们设计了一个深度强化学习框架，以自主解决MDP并根据网络性能动态自适应地学习分块策略。此外，为确保系统稳定性，我们采用点对点（P2P）机制进行节点发现，集成分布式哈希表（DHT）以实现高效的数据块定位，并利用P2P协议协调节点间的数据块交换和传输。广泛的仿真结果表明，与传统方法相比，所提出的机制在传输时间和吞吐量方面取得了显著改进，同时对动态和复杂的网络环境具有很强的适应性。

引言

得益于强大的规模经济和云计算等技术创新，Web系统变得越来越集中化，越来越多的消费者依赖云服务提供商提供数据存储、共享和计算服务[1]、[2]、[3]。因此，集中式网络架构作为一种有前景的解决方案应运而生，提供了更好的可控性和便利性，例如Amazon S3[4]、Google Drive[5]和Dropbox[6]。然而，这种集中式架构也引入了若干风险，如单点故障、数据孤岛和负载不平衡，这些都会严重影响系统性能并最终降低用户体验。例如，亚马逊电子商务平台的一份报告显示，服务中断造成的财务损失每分钟超过66,000美元[7]、[8]。

为了解决这些问题，分布式架构成为研究热点，因为它将控制权限分散到多个节点上，从而减少了对中央服务器的依赖。因此，它已成为包括云计算[9]、物联网（IoT）[10]和区块链[11]在内的各种技术领域的基础基础设施。尽管分布式系统不断发展和改进，但数据传输性能仍然是其未来发展的主要瓶颈。这一瓶颈不仅影响分布式系统的性能和稳定性，还阻碍了它们的进一步发展。

因此，为了优化数据传输效率，数据分块技术已在InterPlanetary File System（IPFS）[12]、BitTorrent[13]、HDFS[14]、Ceph[15]和现代云存储平台[16]等领先的分布式传输系统中得到广泛应用。数据分块将大对象分割成较小的块，分布在不同的节点上，从而实现独立存储和传输，提高吞吐量、减少延迟并增强系统容错能力。然而，这也带来了新的挑战，因为大多数系统使用预先定义且固定的块大小，限制了它们对动态网络条件和异构数据特征的适应性。此外，块大小的变化会显著影响同一文件的传输效率。特别是，过小的块可能由于元数据和连接管理的增加而引入较高的开销，而过大的块则可能导致对网络波动的适应性较差。这些问题会严重损害系统的稳定性和效率。虽然实施动态调整策略是一个潜在的解决方案，但依赖预先定义的启发式规则往往不够充分。这些僵化的方法无法捕捉高维网络动态与最优分块策略之间的复杂非线性关联。此外，传统的监督学习方法也不适用于这种情况。在静态历史数据集上训练的模型根本无法捕捉复杂分布式网络中的随机波动性和实时变化性，导致环境条件变化时策略不匹配。相比之下，深度强化学习（DRL）[17]通过将分块问题表述为序列决策过程克服了这些限制。DRL使系统能够通过与环境中的持续交互和探索自主学习和更新其策略，从而适应动态和未知的网络条件，提供了静态或监督方法无法比拟的鲁棒性。

因此，为了克服在复杂和动态网络环境中固定大小分块的适应性限制，我们提出了一种动态分块机制，并设计了一种基于动态分块的新型智能高效分布式传输方法。关键在于，该机制能够根据实时网络条件自适应地调整块大小，从而优化传输性能。这一能力使其区别于传统的分布式传输系统。分块机制利用共识算法选举一个负责持续监控整个分布式系统中网络条件和数据特征的主节点。鉴于网络动态的不可预测性和分布式系统中数据的异构性，传统启发式方法常常失效，我们利用DRL来学习最优块大小决策。通过训练DRL模型，该机制能够实时预测最优块大小，从而根据网络条件和数据特征进行动态调整，从而提高传输过程的效率和稳定性。此外，还采用了分布式哈希表（DHT）这种去中心化的存储系统，将键映射到特定节点以实现可扩展的检索[18]，以高效查找数据块。同时，使用点对点（P2P）协议[19]支持节点发现、连接建立和数据传输。我们还集成了Bitswap[20]协议来管理节点间的数据块请求和交换，实现系统内的并行数据传输。通过对数据传输进行广泛实验，验证了所提出机制的有效性。实验结果表明，该机制能够有效适应动态网络条件和异构数据特征，为分布式系统中的数据传输提供了稳健、高效且可扩展的解决方案。

我们的贡献总结如下：

我们提出了一种基于动态分块的分布式系统传输机制。该机制在调整块大小时同时考虑了实时网络状态和数据特征。这些指标由主节点检测和汇总，主节点通过基于共识的机制选举产生，以实现系统中所有节点的分块决策的全球协调。
与传统通常静态且缺乏适应性的启发式方法相比，我们将分块决策问题表述为MDP，并提出了一种基于DRL的动态分块机制来学习最优分块策略。为了提高机制的灵活性，设计了延迟经验反馈方案和模型迁移机制等补充组件，以确保即使在节点故障的情况下也能持续运行。
我们提出了一种高效的分布式数据传输机制。该机制利用P2P网络进行去中心化的节点发现和数据传输，同时使用DHT来定位和识别数据块。通过实现来自多个节点的数据块的并行传输，这种方法显著提高了分布式数据传输的整体性能。
为了评估所提出机制的性能，我们开发了一个分布式数据传输测试平台，并在真实的分布式传输场景下进行了全面实验。实验结果表明，我们的机制在多个方面优于其他方法，传输性能提高了22%，吞吐量增加了28%，相比传统的固定大小分块方法优化率提高了31%。

本文的其余部分安排如下：第2节概述相关工作，第3节详细介绍我们提出的系统架构，第4节介绍动态分块和智能决策机制，第5节描述基于动态分块的高效传输方法，第6节通过实验结果评估我们提出方法的性能，最后第7节总结本文。