随着物联网（IoT）技术的快速发展，设备互联性变得越来越普遍。到2025年，全球连接设备的数量将达到754亿台。这些设备促进了虚拟/增强现实、自动驾驶和云游戏等智能应用的下一波发展。深度神经网络（DNN）作为AI的关键技术，为各种智能应用提供了解决方案。然而，依赖DNN推理的新智能应用通常资源密集且时间敏感，给资源受限的设备带来了巨大的计算负担。传统的云计算通过将数据或任务卸载到云服务器上来进行DNN推理。然而，这种方法可能会增加网络负载和传输延迟，并带来数据隐私泄露的风险。现在的挑战是使资源受限的设备能够高效地提供优质的服务。
移动边缘计算（MEC）通过将部分计算资源下沉到网络边缘，显著加快了推理过程，实现了更接近用户设备的存储和计算[1]，[2]。嵌入式设备增强的计算能力使得某些IoT设备能够包含AI加速组件，进一步减少了DNN推理延迟。为了高效利用边缘能力进行协同推理，通常采用DNN模型分割的方法在设备和边缘云上同时运行任务。图1展示了通过模型分割进行边缘协同推理的架构。虽然在设备上运行初始层会带来一些时间和能源开销，但策略性地分割模型可以减少向边缘云的数据传输，从而降低传输延迟和能源使用，从而在延迟和能源效率方面获得整体提升。将某些层计算卸载到边缘云可以优化网络计算资源的使用，减轻设备和骨干网络的工作负载。此外，模型分割后，只传输中间特征数据，以防止原始数据离开用户设备时发生隐私泄露的风险。
神经网络层之间存在重要的中间特征。错误地分割模型可能会导致传输延迟显著增加。关于模型分割的研究往往忽略了特征压缩。为了提高性能优化并减轻终端设备的计算和通信负担，将模型分割与特征压缩相结合提供了一种整体方法。当前的模型分割方法依赖于离线分析来评估网络设备性能以确定最佳分割点，难以适应高度动态的MEC网络。因此，需要一种在线算法来适应不断变化的环境。此外，由于用户设备资源的不同和生成的任务的多样性，统一的分割方法难以找到最佳解决方案，需要为每个任务单独决策。此外，当前关于模型分割和资源分配的研究往往过于简化了实际情况，忽略了这两个因素之间的复杂关系。因此，联合优化模型分割和资源分配决策变得至关重要。尽管如此，实施联合优化策略面临解决方案空间庞大和收敛困难等挑战。因此，创建一种高效的模型分割和资源分配协同优化方法具有实际价值。
本文研究了深度神经网络边缘协同推理问题的模型分割技术。首先，我们开发了一种基于特征重要性的压缩算法，以应对模型中间层的高维特性和边缘网络的动态特性。随后，我们深入探讨了一种自适应的边缘资源分配策略，以解决多用户和多任务环境中的资源竞争问题。本研究的主要内容包括：
•我们提出了一种基于特征重要性的压缩算法。根据特征的重要性采用定制的压缩方法，显著提高了压缩效果并减轻了通信负载。
•一种在线模型分割算法利用上下文强盗学习，在动态边缘网络环境中基于压缩特征做出自适应分割决策。
•我们提出了一种基于最近优先级经验选择的用户级资源分配的双延迟深度确定性策略梯度算法。
•为了评估该算法，我们进行了大量实验。实验结果表明，我们的方法可以将推理延迟降低多达65.4%，并节省高达77.6%的能源消耗。
本文的其余部分组织如下：第2节回顾相关工作。第3节介绍系统模型和问题表述。第4节提出了用于自适应分配边缘资源的DNN分割算法的设计细节。第5节提供了实验结果和性能分析。最后，第6节给出了结论。
