严刘|尹耀范|卡迪尔·阿马萨亚利|马西米利亚诺·卢波·帕西尼|罗伯特·史密斯|林弼载|赫莉亚·赞迪
美国田纳西州橡树岭市贝塞尔谷路1号，橡树岭国家实验室，邮编37830
摘要
无模型强化学习为在满足使用者舒适度的同时优化建筑能源使用提供了一种数据驱动且具备自适应能力的方案。这一强大工具无需预先了解其所优化环境及系统的任何信息，能够根据收集到的数据变化调整控制策略。与其他数据驱动工具类似，由于需要大量智能体与环境的交互才能捕捉建筑的长期动态及用户舒适度，其训练成本较高。迁移学习，尤其是策略蒸馏技术，通过利用不同类型建筑和系统中的预训练强化学习智能体，为加速训练提供了有效途径。本研究探讨了在线学生蒸馏方法，即学生模型利用教师模型的输出来更新自身的神经网络权重。研究提出了旨在实现高效知识传递的学生蒸馏策略，以及确保高质量指导的教师选择方法。该方法通过针对小型/中型商业建筑测试设施的高精度整体建筑能耗模型进行了验证。实验结果表明，该方法显著减少了训练时间和数据需求，其性能甚至超越了基于规则的先进控制策略——ASHRAE指南36。相比最先进的强化学习模型，经过蒸馏后的模型所需数据量减少了45%，累计奖励提升了20%，且收敛速度更快、能耗更低。这些成果表明，有效的迁移学习能够为商业建筑提供可扩展且数据效率高的能源管理解决方案。
引言
2023年，建筑行业消耗了20.64千万亿英热单位的能源，约占美国总能源消耗量的28%[1]。其中，商业建筑消耗了9.34千万亿英热单位，占建筑行业能源消耗总量的45%[1]。鉴于建筑行业是最大的能源消耗领域之一，降低其能源使用量对于减少整体建筑能耗至关重要。目前有多种策略可用于降低建筑能耗。一种方法是升级供暖、通风和空调系统，这能显著提升能源效率[2][3]；另一种方法是改进建筑围护结构，增强隔热性和气密性，从而减少通过墙体和屋顶的能源损失[4]；采用具有先进玻璃技术的高性能窗户也是减少热损失的有效手段[5]。此外，将空调系统与地热泵或太阳能辅助的高效空调系统等其他能源资源相结合，也能实现节能的供暖和制冷效果[6][7]。
尽管这些方法具有诸多优势，但对现有建筑进行改造仍面临诸多挑战，包括高昂的初期成本、实施难度以及漫长的安装时间[3]。可再生能源系统则还存在额外的障碍，如安装和维护成本，以及需要足够的空间来部署系统[8]。相比之下，优化空调系统控制被认为是一种实用且经济高效的解决方案。与建筑改造或可再生能源安装不同，先进的控制策略无需进行结构改造或占用额外空间[9]。通过改善现有系统的运行方式，仅依靠空调系统控制的优化就能显著降低建筑能耗，无论是否需要进行大规模升级[9]。
因此，近年来有大量科学研究致力于探索和分析各种先进的建筑控制方法。研究人员对各类建筑控制方法进行了广泛比较，以明确它们的优势、劣势以及在实际应用中的潜力[10]。在各种类型的商业建筑中，小型和中型商业建筑在先进空调控制方面面临着独特的挑战与机遇。与大型商业建筑不同，这类建筑往往缺乏完善的传感基础设施、长期的运行数据集以及专业的建筑自动化技术，这使得依赖大量数据的控制方法难以在实际中应用。与此同时，这类建筑占据了美国商业建筑总量的大部分。根据2018年的商业建筑能耗调查，近一半的商业建筑面积在93至464.5平方米之间（1,001至5,000平方英尺），约71%的建筑面积在929平方米（10,000平方英尺）或更小[11]。这些特点使得小型和中型商业建筑成为适合采用可扩展、高数据效率的空调控制解决方案的典型对象。
建筑控制策略包括多种方法，如基于规则的控制、模型预测控制以及基于强化学习的控制。基于规则的控制依赖于简单的启发式规则，通常采用“如果-那么”逻辑[12]。这种方法通过根据预定义规则调整系统设定值来有效降低能耗。例如，在无人时段或需求响应期间，可以适当降低温度设定值以节省能源[13]。Hoyt等人研究了扩大空气温度设定值对系统运行、热舒适度及能耗的影响，发现根据不同气候条件，将设定值范围扩大到18.3–27.8摄氏度可使空调系统节能32–73%[14]。另一个基于规则的控制示例是美国供暖、制冷与空调工程师协会的ASHRAE指南36。该指南旨在通过标准化和优化控制措施来提高能源效率与室内热舒适度。已有多项研究对ASHRAE 36控制策略进行了评估[15]。例如，Kiriu和Stein在一栋医疗办公建筑中应用了ASHRAE 36控制策略，预计每年可节省约192,000美元，投资回收期为8.9年[16]。同样，Zhang等人使用EnergyPlus的Spawn功能进行了模拟研究，比较了ASHRAE 36控制策略与传统控制策略的效果，发现前者可节省2–75%的能耗，平均节省率为31%[17]。Yoon等人通过实地测试对比了ASHRAE 36控制策略与基于强化学习的控制策略，结果显示，与传统控制策略相比，ASHRAE 36控制策略可使空调能耗降低42%，而基于强化学习的控制策略则可降低54%[18]。总体而言，基于规则的控制策略具有简单、透明、易于部署等优点，因为它们不需要训练数据。然而，由于其性能受限于预定义的启发式规则和固定的控制逻辑，难以适应复杂的建筑动态、不断变化的运行条件以及不同的建筑特性。
为克服这些局限，基于强化学习的控制方法在建筑控制领域逐渐受到重视[19]。与传统方法不同，基于强化学习的控制不依赖预定义的环境模型或控制逻辑，而是一类通过与建筑环境进行反复的观察-控制交互来学习控制策略的数据驱动控制方法[19][20][21]。Wang等人提出了一种基于强化学习的控制方法用于管理商业建筑中的空调系统，其节能效果比基于规则的 control方法高出37%[22]。类似地，Du等人引入了一种无模型的深度强化学习方法——深度确定性策略梯度法，用于优化多区域住宅空调系统的控制策略[23]。他们的模拟结果表明，与最先进的深度Q学习网络方法相比，基于DDPG的策略可使能源成本降低15%，舒适度问题减少79%；与基于规则的策略相比，舒适度问题的减少比例高达98%。Biemann等人通过实地测试评估了基于无模型强化学习的控制方法，发现所有测试算法都能使能耗至少降低10%，同时保持每小时平均温度在理想范围内，其性能优于在EnergyPlus中实现的基于模型的控制器[24]。Chen等人将基于强化学习的空调和窗户控制策略与模型预测控制进行了比较。在迈阿密和洛杉矶的案例研究中，强化学习控制策略的表现优于传统启发式控制策略，分别使空调能耗降低13%和23%，不适宜时间减少62%和80%[25]。
如前所述，许多基于强化学习的控制策略已被应用于建筑领域，以降低能耗。然而，在为建筑开发基于强化学习的控制逻辑时，面临的一个主要挑战就是高昂的训练成本和大量数据的需求。由于大多数强化学习算法都需要与建筑环境直接交互以获取关于其控制动作的反馈，因此每次智能体与建筑环境的交互所产生的计算和经济成本必须处于合理水平，才能完成强化学习模型的训练。虽然可以利用基于图形处理单元的深度学习工具加快强化学习模型的计算速度，但单个控制时间步的执行时间却很难缩短。在建筑控制领域尤其如此。例如，如果训练环境是真实的建筑，那么为了捕捉制冷和/或制热季节的建筑环境变化而进行的强化学习训练，可能会在数月的时间里带来极高的运营和训练成本。即便使用模拟的建筑环境来降低这些成本，建筑模拟器的复杂性也会拖慢整个强化学习训练的过程。另一方面，作为一种数据驱动的控制方法，强化学习通常需要大量的数据点，也就是大量的智能体与环境交互，才能使模型训练收敛。
对于那些运营数据和工程资源有限的建筑而言，这一挑战尤为突出，因为这类建筑很难应用依赖大量数据的控制方法。基于知识蒸馏的迁移学习直接解决了这一问题，它能够高效地重用预训练的控制知识，从而大幅降低基于强化学习的控制方法所需的数据量和训练成本。在深度学习领域，迁移学习已被提出作为一种解决此类问题的方法。在强化学习领域，人们也探索了多种迁移学习方法，包括实例迁移、表示迁移和参数迁移，这些方法在所传输的知识类型及其再利用方式上存在差异[26][27]。在建筑控制领域，也有一些迁移学习策略被开发出来。Xu等人提出了一种网络分解策略，将神经网络分为与建筑无关的部分和与建筑相关的部分[28]，只有与建筑相关的部分需要重新训练。Lei等人提出了用于空调故障推断的无监督领域适应方法，通过对抗学习、统计分析来捕捉数据分布的差异，并结合领域特定的批量归一化技术进行特征提取[29]。Zhang等人提出了一种元强化学习方法，该方法利用一个基础学习器从多个建筑模型中采样作为初始值，从而最小化所有被采样建筑的损失[30]。另一种迁移学习方法是为重放缓冲区播种，该方法利用源建筑中的轨迹来初始化目标建筑上的学习过程[31]。
虽然这些方法能够加速学习过程，但其有效性往往取决于一些强假设，比如环境相似性、对齐的状态表示的可用性，或是为适应新环境而需要额外收集的数据。相比之下，策略级知识蒸馏则能够通过监督学习信号，直接将预训练的教师策略中的决策知识传递给学生模型，无需进行显式的任务映射或大量的额外环境交互。知识蒸馏具有样本效率高、能减少在线探索、便于在不同建筑、区域和季节之间快速迁移的特点，同时还支持集成方法的整合。这些特性使得知识蒸馏具有很强的鲁棒性和通用性，尤其适用于那些训练数据和运行探索都较为有限的小型和中型商业建筑的空调控制。
为应对现有基于强化学习的控制方法所面临的挑战，尤其是其高昂的训练成本和大量数据需求，知识蒸馏技术应运而生[32]。这是一类有效的迁移学习策略，它通过利用控制策略与环境交互所产生的轨迹，从预训练的教师策略中提取知识并将其传递给学生策略[33][34]。该技术最初是为了解决具有离散动作空间的分类问题而开发的。近年来，知识蒸馏技术在高效构建大型语言模型方面取得了成功并得到了广泛应用[35]，这进一步证明了其在大幅降低训练成本方面的有效性。
知识蒸馏既可以作为离线策略蒸馏过程实现，也可以作为在线策略蒸馏过程实现。离线策略蒸馏不与环境交互，而是通过分析从离线数据集中收集到的状态转换数据来进行学习。在线策略蒸馏则直接从环境中获取状态转换数据。这些状态转换数据可能来自教师策略（即教师蒸馏），也可能来自学生策略（即学生蒸馏）。研究表明，学生蒸馏的效果更为显著[34]。虽然离线策略蒸馏看似成本较低，但它仍然需要通过模拟或实际的建筑控制实验来生成状态转换数据集。
据我们所知，目前关于将知识蒸馏技术应用于建筑控制的文献还相当少。此前有一项研究探讨了在离散动作空间中应用知识蒸馏技术进行住宅建筑控制的方法[36]。由于此前很少有研究探讨在建筑应用中运用蒸馏强化学习控制策略，或将其性能与预训练的强化学习模型及基于规则的模型进行对比，因此我们采用在线学生蒸馏作为迁移学习的策略。本研究旨在提供一种高效的数据驱动且无需模型的强化学习解决方案，以提升中小型商业建筑的能源使用效率与舒适度。为实现这一目标，我们利用为不同中小型商业建筑预训练的强化学习智能体来实施策略蒸馏（即教师强化学习模型）。我们希望通过展示在开发新的强化学习控制逻辑（即学生强化学习模型）时训练时间更短、相关能耗更低，从而证明并量化我们所采用的迁移学习方法的效率。
本研究的主要创新点包括：
• 提出了一种新的学生蒸馏策略，能够高效且有效地将预训练强化学习教师模型中蕴含的建筑控制知识传递给新的强化学习建筑控制逻辑的训练。
• 设计了教师模型选择标准，用于从预训练的建筑强化学习模型库中挑选合适的教师模型，该标准有助于提升知识蒸馏的质量。
• 使用经过精准校准的建筑能源模拟模型，将蒸馏强化学习控制方法与传统强化学习控制以及ASHRAE 36控制标准进行了对比测试。
• 所提出的迁移学习策略所实现的控制性能可与资源消耗较高的强化学习模型相媲美，同时显著优于ASHRAE 36控制标准，且在训练成本上大幅降低。
方法部分
在本文中，我们通过将基于知识蒸馏的强化学习方法（以下简称蒸馏强化学习）与传统强化学习控制以及ASHRAE 36控制标准进行对比，评估了迁移学习在商业建筑控制中的效率与效果。为确保模拟结果的可靠性，我们使用了经过实际建筑数据充分验证的EnergyPlus模拟模型[18]。第2.1节详细描述了测试建筑的相关信息。
在前一节中，我们已经证明强化学习控制逻辑的性能优于ASHRAE 36控制标准。然而，无模型强化学习模型往往需要较长的训练时间，这会在模拟或实际建筑环境中带来高昂的成本。因此，在在线学习环境中加速这类强化学习控制器的训练显得十分重要。我们采用了迁移学习技术，将一组教师模型（强化学习模型）所学的知识用于训练新的强化学习控制器。具体而言，就是利用这些教师模型来传递知识。
结果部分
我们对强化学习控制逻辑进行了性能评估，旨在判断其性能是否与ASHRAE 36控制逻辑相当或更优。冬季的空气处理机组能耗数据来自经过充分验证的EnergyPlus模拟模型。ASHRAE 36控制逻辑包含对空气处理机组和变风量阀的控制，而我们所提出的强化学习控制方案仅对空气处理机组应用强化学习训练与测试，变风量阀则采用传统控制策略。
结论部分
本研究证明了基于学生蒸馏的迁移学习策略在提升无模型强化学习算法的性能与数据效率方面的有效性，该算法可用于优化建筑能源使用。这种策略使得强化学习学生模型能够高效地从预训练的强化学习教师模型中学习，从而在保持高控制质量的同时降低训练成本。此外，我们还提出了适用于连续控制的蒸馏损失函数以及教师模型选择标准，进一步提升了该方法的效果。
作者贡献说明
刘岩：撰写原始稿件、可视化处理、软件应用、方法设计、实验分析、形式化分析。
尹耀彬：撰写原始稿件、可视化处理、软件应用、实验分析、形式化分析、数据整理。
卡迪尔·阿马萨利亚：撰写原始稿件、软件应用、实验分析、形式化分析、数据整理。
马西米利亚诺·卢波·帕西尼：方法设计、实验分析。
罗伯特·史密斯：软件应用、实验分析。
林皮利亚：审稿与编辑、结果验证、项目监督、项目管理。
利益冲突声明
作者们声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
致谢
本研究得到了美国能源部建筑技术办公室的资助，合同编号为DE-AC05-00OR22725。
