利用视觉关系和场景图推理技术，对高空作业中符合法规要求的个人防护装备（PPE）合规性进行评估

时间：2026年3月26日

来源：Advanced Engineering Informatics

编辑推荐：

本研究提出一种融合视觉关系建模与场景图分析的自动化高空作业（WAH）个人防护装备（PPE）合规检测框架。通过改进YOLOv11模型（集成GhostConv和CBAM模块）提升小件及遮挡PPE检测精度（mAP@0.5达0.924），并构建多特征视觉关系模型捕获语义交互。基于安全规范的规则场景图与感知场景图进行拓扑一致性验证，实现缺失关联的精准定位与结构化报告生成，为高危场景提供可解释的智能监管方案。

吴毅|徐文宇|谭毅

香港理工大学建筑与房地产系，中国香港

摘要

在高处作业（WAH）的施工现场存在重大的安全挑战，正确使用个人防护装备（PPE）对于预防事故至关重要。本文开发了一个自动化框架，该框架结合了视觉关系建模和场景图分析来检测建筑工人的PPE合规性。改进的YOLOv11模型采用了GhostConv和CBAM模块，用于检测小型和被遮挡的PPE物品（例如，生命线和挂钩）。然后，开发了一个多特征关系模型，通过融合语义、几何、视觉外观和全局上下文特征来推断语义交互。这些关系被构建成场景图，并与来自安全规定的基于规则的图进行比较，以识别不合规情况。进一步实现了一个安全合规性分析系统，用于可视化结果并生成结构化的安全报告。实验结果表明，所提出的模型优于基线模型，达到了0.924的mAP@0.5和0.89的Recall@100。该实用合规性系统具有视觉叠加层、结构化报告和可操作的洞察力，为建筑安全监督提供了可扩展且可解释的解决方案。

引言

建筑环境通常以其复杂性和空间限制为特征，这使工人在操作过程中面临更高的安全风险[1]。在高处作业（WAH）中，不稳定的平台、不断变化的现场条件和有限的操作空间等因素进一步增加了事故发生的可能性[2]。从高处坠落（FFH）是建筑行业中导致死亡和受伤的主要原因[3]、[4]、[5]、[6]、[7]、[8]。在中国，2010年至2019年间，FFH占所有建筑死亡事故的47.31%，其中2,841起死亡事故与此类事件有关[9]。同样，英国健康与安全执行局（HSE）的最新统计数据显示，2023-2024年间，FFH导致了138起工作相关死亡中的50起[10]。许多研究已经确定了FFH事件的主要原因。在美国，OSHA在1997年至2012年的数据显示，超过70%的坠落相关死亡事故是由于缺乏或不当使用坠落防护装备造成的[11]。Zermane等人[12]发现，85.93%的致命FFH事故直接由个人防护装备（PPE）的不当使用引起。Mahmoud等人[13]强调，在沙特阿拉伯，PPE的不当或忽视使用是严重WAH事故的常见原因。因此，在WAH期间有效检测PPE合规性至关重要。

传统的PPE合规性检查通常依赖于人工监督，这既耗时又主观，且容易延误[14]。为了解决这些挑战，计算机视觉（CV）作为自动监控的可靠工具，在建筑安全管理中越来越受到重视[15]。基于CV的系统能够从图像或视频中连续检测不安全行为或危险，而不会中断工作，非常适合施工现场[16]。这些系统能够实时识别工人是否正确配备了PPE，支持可扩展和高效的安全监督[17]。然而，现有的对象检测方法主要关注识别单个PPE物品，而忽视了PPE的正确使用，这可能会显著增加工作场所的受伤和死亡风险[18]。正确选择、适配和一致使用PPE对于确保工人安全和预防事故至关重要。为了弥合这一语义差距，出现了视觉关系建模，通过识别对象之间的交互关系来扩展对象检测的能力[19]。这种方法构建了主体-谓词-对象三元组，以捕获评估PPE合规性所需的语义依赖性。在安全关键环境中，这种语义理解使得关于PPE使用合规性的推理更加可解释和细致[20]。然而，单独的关系识别不足以支持复杂场景中的系统化合规性检查。为了解决这一限制，场景图生成（SGG）作为一种方法出现，它将图像中的对象实体及其语义关系构建成由节点和边组成的图[21]、[22]。这种方法不仅捕捉了“谁做什么”的语义，还捕捉了对象之间的空间层次结构和交互。对于建筑安全管理，场景图提供了两个关键优势：（1）结构化推理，能够全面分析复杂环境中PPE的使用和连接状态；（2）规则集成，因为其结构自然与安全本体对齐，支持自动化和可解释的合规性检查[23]、[24]。然而，大多数现有的PPE研究仍然集中在地面操作或粗略的PPE类别上，并经常将合规性等同于物品的存在或二进制标签。这对于WAH来说是不够的，因为在WAH中，合规性取决于坠落防护系统是否形成了完整且正确的连接链，并满足关键的状态约束，而不仅仅是单个物品是否可见。此外，许多方法没有以符合规定的结构组织和验证检测和关系输出。如果没有与规则派生的图表示明确对齐，合规性决策就难以复制和追踪。因此，系统通常只提供一个整体的“合规/不合格”标签，而没有可审计的证据表明缺少或错误的关联是什么，这限制了它们在高风险WAH环境中的实际价值。为了解决这些限制，本文提出了一个针对高处作业场景的自动化PPE合规性检测框架，该框架结合了视觉关系推断和符合规则的场景图推理。该框架支持符合规定的PPE连接链验证，并能够进行可解释的差异定位，以便采取纠正措施。研究目标有三个：（1）改进在高处作业图像中检测小型和被遮挡的坠落防护物品（例如，生命线和挂钩）；（2）通过开发一个视觉关系模型来推断细粒度的PPE使用和连接语义，该模型捕获多个相关对象之间的结构化依赖性；（3）实现符合规定的、基于图的合规性评估，并提供可审计的输出，包括缺失关联的识别和可操作的报告。因此，本文的贡献如下：（1）通过结合GhostConv和CBAM开发了一个轻量级的增强型YOLOv11检测器，同时保留了C3k2结构，提高了在高处作业场景中检测小型和被遮挡PPE物品的准确性。（2）设计了一个多特征视觉关系模型，通过联合编码语义类别、几何线索、成对空间配置和全局上下文特征来推断PPE使用关系，实现一致且可解释的交互识别。（3）实现了一个集成的合规性分析系统，将检测和关系输出转换为基于检测的场景图，将其与来自安全规定的规则图对齐，并执行拓扑感知的一致性检查，以识别不合规情况，并提供差异定位、视觉叠加层和结构化报告。本文的其余部分组织如下：第2节回顾了有关PPE检测、视觉关系建模和建筑安全场景图推理的相关研究。第3节详细介绍了所提出的框架。第4节报告了实验验证结果。第5节讨论了限制和未来的研究方向。第6节总结了本文。

节选

文献综述

本节回顾了与建筑安全分析相关的研究，特别关注基于计算机视觉的PPE检测、基于视觉关系的语义理解以及基于场景图的建筑安全管理。通过概述现有的成就和限制，本综述指出了激发所提出方法的研究空白。

方法

在本文中，WAH PPE合规性被表述为一个受规则约束的图一致性验证问题。设

G_{r} = (V_{r}, E_{r})

表示由安全规定指定的强制性结构关系的规则图，设

G_{d} = (V_{d}, E_{d})

表示从检测到的实例和推断出的语义关系构建的感知图。合规性定义为在

E_{r}

中满足所有必需的规则边，并且在

E_{d}

中有结构上一致的对应物，受置信度约束

实验和结果

实验使用了第3.1.1节描述的多源数据集来验证所提出的改进型YOLOv11模型、关系检测模型和合规性分析系统的整体性能。所有实验都在配备3.40 GHz Intel i7-14700KF处理器、32 GB RAM、Gigabyte Z790D主板并运行Windows 11 Pro的工作站上进行。

限制和未来工作

尽管所提出的框架在高处作业（WAH）场景中的PPE合规性检测方面表现出有希望的性能，但仍存在几个限制。

首先，尽管数据集结合了无人机图像、公开可用的数据集和AI生成的合成数据，但它并没有完全覆盖所有真实世界的WAH场景条件。如图15所示，检测和关系推断对相机视角非常敏感，特别是在倾斜角度、部分遮挡或高密度情况下

结论

本文提出了一个用于高处作业（WAH）期间PPE合规性检测的自动化框架，该框架结合了视觉关系推断和场景图建模。构建了一个包含无人机图像、公共来源和AI生成图像的多样化数据集，以在复杂现场条件下提高泛化能力。改进的YOLOv11模型结合了GhostConv和CBAM模块，在检测小型和被遮挡的PPE物品方面实现了高精度。为了捕捉诸如“佩戴”等语义交互