通过网络流和深度强化学习引导的约束编程，对大宗港口进行分层规划与调度

干散货港口多货源多工艺协同调度研究提出分层优化框架，将混合整数规划问题分解为多商品流建模与约束规划调度双阶段，创新性融合深度强化学习与约束规划的双引擎驱动方法，通过智能体预判关键变量显著提升求解效率，经真实数据验证使调度效率提升达37.2%，为复杂港口优化提供新范式。

Xuan Lu|Yu Zhang|Xuri Xin|Hang Yang|Huanhuan Li|Lanbo Zheng|Zaili Yang

武汉理工大学交通与物流工程学院，中国武汉430063

摘要

本研究针对复杂的大型散货港口，提出了一个集成的进出港运营规划和调度问题。随着不同类型的原材料在同一码头进行运输，传统的干散货装卸作业方式正在发生变化。这带来了新的研究挑战，即需要协调卸货、堆放、取货、输送和装载等操作，以根据客户的严格要求进口或出口混合产品。本文旨在最大化资源利用，并尽可能快速满足需求。问题的核心在于设计产品流在港口物流网络中的路径，以实现供需的最佳匹配。本研究提出了一个新的框架，将规划部分建模为多商品流问题，将调度部分建模为约束编程（CP）问题。提出了一种新颖的双引擎优化方法，该方法将CP与深度强化学习（DRL）相结合，以加速调度阶段。该方法利用DRL智能体来确定关键变量，从而有效加快CP求解器的优化过程。通过在真实数据集以及基于实际场景的实例上进行综合数值实验，验证了所提出方法的有效性，显著提高了港口调度效率。此外，战略管理分析为散货港口运营的决策提供了可操作的见解。所提出的方法为港口物流及其他领域的复杂组合优化问题提供了一种通用方法论，为更智能和可持续的干散货港口管理奠定了基础。

引言

航运是全球物流和运输系统的重要组成部分，是国际贸易和经济联系的重要纽带（Li等人，2024；Li等人，2023）。在这个系统中，港口发挥着核心作用，将内陆运输网络与海上贸易路线连接起来，并通过提高贸易效率和可访问性来支持经济增长（Cai等人，2024b；Cai等人，2024a）。其中，干散货港口专门处理煤炭、矿石和谷物等关键大宗商品，这些商品对能源安全和工业生产至关重要（Ernst等人，2017）。为了应对全球对大宗货物需求的增加，主要国际干散货港口进行了基础设施扩建，从处理单一类型货物的单一功能设施发展成为大规模、多货物、多功能的港口（Jiang等人，2024）。这种转变旨在提高装卸能力和运营效率，以及环境性能（Fang等人，2021）。多种货物类型（如煤炭和矿石）和多样的运营功能（如火车和船只装卸）给港口管理带来了复杂性。多货物操作增加了设备种类和数量，不同货物类型的运营能力也有所不同。多功能操作导致货物流量多样化和资源冲突加剧。在货物组装干散货港口（CDBPs）中，为了满足客户规格而混合货物，引入了复杂的约束条件，给协调调度带来了挑战。这些因素共同加剧了干散货港口的全球调度复杂性，必须整合火车调度、堆场管理、设备分配和船只调度。随着新场景的出现和复杂性的增加，传统的手动和基于经验的调度方法已显得不足，难以在合理的时间内生成有效的解决方案。因此，手动调度难以满足现代干散货港口不断变化的需求，最终成为提高其效率和服务水平的瓶颈。

自动化处理设备和数字化港口管理的日益采用使得干散货港口的电气化和自动化水平得到了提升（Cao等人，2025）。然而，与集装箱港口相比，干散货港口由于持续的货物混合操作、多样的货物类型以及复杂的装卸流程而面临更大的挑战。尽管如此，它们在智能调度系统和数字化管理技术的采用方面仍落后（Zhang等人，2024a），阻碍了向完全自动化、高效和可持续运营的转型。以往关于干散货港口连续作业流调度的研究（Lu等人，2024；Pratap等人，2018）主要集中在单一货物调度上，忽略了多货物、多功能干散货港口中综合生产规划和运营调度的更广泛挑战。为了填补这一空白，需要开发新的模型和算法，以优化日益复杂的干散货港口环境中的生产效率和服务质量。

本文解决了CDBP运营中的两个主要挑战。

挑战1：如何开发一种集成的生产规划和设备调度解决方案，以有效管理多种货物类型和多个装卸方向？

挑战2：如何设计一个有效且可扩展的优化框架，在实际计算时间内解决大规模规划和调度问题？

为了解决挑战1，本文提出了一种分层解决方案框架，将复杂的生产规划和调度问题分解为两个相互关联的子问题：生产规划和运营任务调度。这种结构化的分解将港口的运营挑战转化为一个结合了网络流建模和设备调度约束的组合优化问题。然而，直接使用混合整数规划（MIP）来解决这个问题是不切实际的，因为它涉及不同时间粒度的决策。相反，所提出的分层方法在确保问题一致性的同时，利用专门的优化技术来平衡模型的现实性、解决方案的准确性和计算效率。

为了解决挑战2，本文引入了一种新颖的双引擎优化方法，通过将深度强化学习（DRL）与约束编程（CP）相结合，加速了复杂调度问题的解决。深度Q网络（DQN）用于确定关键决策变量，指导CP求解器加快收敛速度并提高优化性能。通过利用训练数据中的先验知识，DQN智能体提取历史策略来支持CP求解器，有效平衡了解决方案质量和计算效率，以实现实时港口调度。

总之，本文在干散货港口生产规划和调度领域做出了三项主要贡献：

(1)

开发了一种分层优化框架，用于集成多货物、多功能干散货港口的规划和调度，有效地将复杂的港口操作分解为可管理的子问题。

(2)

引入了一种双引擎优化方法，结合DRL和CP，在实际计算时间内实现高质量、高效的调度解决方案。

(3)

通过综合数值实验验证了干散货港口运营效率的显著提升，为战略港口管理和智能决策提供了见解。

本文的结构如下：第2节系统回顾了相关文献，概述了干散货港口优化的当前研究状况和主要方法，指出了研究空白，并介绍了本文的贡献。第3节详细介绍了研究问题。第4节介绍了分层解决方案框架及其数学模型。第5节描述了通用解决方案方法和双引擎驱动的优化方法。第6节展示了实验结果，并讨论了不同港口管理策略的影响。最后，第7节总结了研究结果，讨论了局限性，并对未来研究提供了见解。

文献综述

文献综述

本节系统回顾了干散货港口规划和调度的当前研究，确定了关键的方法论方法，并指出了现有的研究空白。

问题描述与建模

典型的CDBP如图2所示，包括堆场、火车、船舶、传送带、堆垛机、取货机、装船机、卸船机、装载站、卸载站和龙门吊。堆场用于储存煤炭和矿石等干散货。堆垛机和取货机负责堆放（增加库存）和取货（减少库存）操作。卸载站和装载站负责火车的装卸操作。

多货物、多功能干散货港口中的IPSP分层模型

解决IPSP是一个重大挑战。其组合优化结构的复杂性以及大量变量和约束条件，使得直接基于求解器的集成模型构建变得复杂。附录A展示了IPSP的MIP模型，其中包含许多二进制和整数变量，用于捕捉网络流和调度特征。随着问题规模的扩大，解决问题的难度也随之增加。

解决方法

由于IPSP的MIP模型包含大量整数变量和二次约束，求解该模型非常耗时。即使对于只有一列火车和一艘船的小规模实例，商业求解器CPLEX也无法在合理时间内找到可行解。考虑到IPSP问题具有可分解的结构，通常分为规划和调度两个阶段，在干散货港口管理过程中，本文提出了一种分层解决方案

计算实验

本节概述了实验开发环境和从港口调查中得出的参数设置。详细介绍了实验数据集的生成规则，并通过分析实验结果并与真实港口运营数据进行比较，验证了所提出的分层解决方案框架和方法的可行性。此外，本文还与其他算法进行了比较，进一步验证了该方法的有效性。

结论与未来工作

由于生产过程和物流元素的复杂性，大型CDBPs中的IPSP难以进行连贯建模和大规模求解。为这些港口开发集成模型和优化算法对于提高复杂干散货环境中的运营效率和服务水平至关重要，具有重要的工程意义。此外，这类复杂组合优化问题的建模和解决方法提供了新的

CRediT作者贡献声明

Xuan Lu：撰写——原始草案，可视化，验证，软件，方法论，调查，形式分析，数据整理，概念化。Yu Zhang：撰写——审阅与编辑，监督，资源管理，项目协调，调查，资金获取。Xuri Xin：撰写——审阅与编辑，验证，监督，方法论。Hang Yang：撰写——审阅与编辑，验证，软件，资源管理，方法论。Huanhuan Li：撰写——审阅与编辑，验证，监督，

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本研究得到了国家自然科学基金（资助编号：72174160）、湖北省重点研发项目（资助编号：2023BAB073）、中国 Scholarship Council（202406950007）以及欧盟Horizon 2020研究与创新计划下的欧洲研究委员会项目（TRUST CoG 2019 864724）的支持。