一种用于火灾应急决策支持的知识形式化与视觉语言模型系统

本研究提出基于知识图谱与视觉语言模型的火灾应急决策支持系统KG-DS，通过关系导向联合三元组提取模型RO-JTEM构建火灾知识图谱FIKG，实现火灾调查文本的结构化知识提取，并结合VLM进行多模态感知与推理，形成可解释的决策建议。实验表明该系统在三元组抽取任务中F1分数达85.2%，与专家策略相似度达81.4%，有效提升复杂火场环境下的应急决策效率与一致性。

Jianyuan Tao|Ping Wang|Hanfeng Jiang|Yu Han

中山大学智能系统工程学院，中国深圳市公长路，518107

摘要

火灾事故报告和现场图像包含了丰富的但非结构化的消防安全工程知识，这些知识需要通过明确的形式化手段来支持知识密集型的决策过程。然而，此类证据的大量性和多模态特性使得将其转化为可计算和可重用的知识表示变得困难。本文提出了一种混合决策支持系统KG-DS，该系统通过火灾事故知识图（FIKG）对消防安全工程知识进行形式化处理，并将其与基于视觉语言模型（VLM）的多模态推理相结合，以支持火灾紧急情况的决策。该系统包括两个模块：（1）关系导向的联合三元组提取模型（RO-JTEM），它通过从火灾调查文本中提取主体-关系-对象三元组来构建结构化的FIKG；（2）基于VLM的推理模块，该模块将图形检索与多模态感知相结合，形成可解释的感知-思维-行动循环，用于自主策略生成。RO-JTEM在三元组提取方面的F1分数达到了85.2%，而KG-DS与专家生成的策略的平均相似度达到了81.4%。这些结果表明，将明确的工程知识表示与多模态计算推理相结合，为支持知识密集型的火灾紧急决策提供了一个可靠且可解释的机制。

引言

随着智能决策支持技术的快速发展，火灾事故报告和现场调查记录中包含的丰富的但未充分利用的消防安全工程知识越来越受到关注[1]，[2]。面对火灾或爆炸事件时，应急响应人员通常遵循一个顺序的四个步骤[3]：（I）人员接收关于潜在或正在发生的事件的通知；（II）他们进行现场检查并收集视觉和环境证据；（III）他们分析文本和视觉证据以推断点火原因和危险趋势；（IV）他们制定并执行灭火或救援策略，同时记录详细的火灾调查报告。

上述过程中的主要瓶颈是第二步和第三步，这两步消耗了大部分可用响应时间[4]。这一瓶颈主要是由于火灾原因推理和战术决策是高度知识密集型的任务，它们严重依赖于跨学科的专业知识和丰富的现场经验。然而，任何单个响应人员的知识储备都是有限的，尽管可以花费额外的时间查阅技术手册或过去的案例，但应急响应操作本质上是时间敏感的，需要在不确定和高压的条件下迅速做出可靠的决定。与纯粹的数据驱动的火灾预测方法[5]相比，最近的研究[6]表明，基于累积的调查文本和视觉证据的推理可以有效提高响应人员在复杂且不断变化的火灾环境中的情境意识和决策能力。因此，应急管理部门迫切需要一个基于知识图的决策支持系统，能够快速访问、组织和推理累积的火灾调查知识，以提高应急决策的效率和一致性。

研究人员越来越多地采用知识图（KG）技术来开发特定领域的决策支持系统和专家推理框架[7]，[8]，[9]，[10]。在火灾调查和安全应用中，以图形形式组织的KG在明确表示点火原因、危险物质、火灾蔓延模式和灭火策略方面也起着关键作用[11]，[12]。最近的安全相关研究进一步强调了结构化知识表示在理解因果链和多危险相互作用中的重要性[13]，[14]。一般来说，现有的基于KG的推理方法可以分为本体驱动和概率建模两种范式。基于本体的系统依赖于专家定义的关系进行结构化推理[15]，[16]，而概率方法（如贝叶斯网络）则用于模拟火灾传播和危险升级的不确定性。然而，这两种框架都需要大量的手动工作来从冗长的报告和视觉证据中提取结构化信息，导致知识更新缓慢和有价值的历史记录未被充分利用。

基于深度学习的自然语言处理方法越来越多地被用于自动化实体和关系的提取。例如长短期记忆（Long Short-Term Memory）、Transformer以及Transformer的双向编码表示（Bidirectional Encoder Representations）[17]，[18]，[19]，[20]等方法能够从大量的文本火灾调查记录中自动提取词嵌入和语义特征，从而有助于构建机器可解释的知识图。这些方法已成功应用于事件推理、时间演化建模和灭火策略优化。然而，大多数现有方法主要关注文本内容，而忽视了评估火灾行为、点火源类型和灭火可行性所关键的视觉线索。此外，缺乏可解释的推理机制限制了它们在现实世界紧急场景中的可靠性。

与此同时，视觉语言模型（VLM）在多模态理解方面取得了重大突破，因为它们能够同时处理图像和文本[21]，[22]，[23]。像GPT-4V、Gemini和Qwen2.5-VL-7B这样的先进模型在复杂的感知任务和安全关键场景中展示了出色的推理能力。然而，尽管它们具有通用智能，但VLM并不具备准确推断火灾原因和做出灭火决策所需的专门领域知识。最近的安全科学研究[24]表明，大型语言模型驱动的代理可以模拟疏散或响应决策，但在缺乏领域约束的情况下，它们在一致性和事实准确性方面存在困难。因此，将结构化的火灾知识纳入此类多模态框架对于弥合通用推理能力和领域特定可解释性之间的差距至关重要。

在这种情况下，研究人员开始探索将知识图与大型模型相结合的混合架构，以实现可解释和上下文感知的推理[25]，[26]，[27]。这些研究表明，结合结构化的领域知识显著提高了决策支持系统的透明度和可靠性。在Chain-of-Thought[28]和Tree-of-Thought[29]等推理范式的基础上，混合KG-VLM框架可以进一步整合视觉证据、文本语义和基于图的推理，以实现情境适应性的理解。最近的框架如Think-on-Graph[30]、REACT[31]和Fact Finder[32]展示了知识增强模型在可解释决策支持方面的潜力。然而，大多数这些模型仍然局限于通用问答（QA），而不是现实世界的紧急推理。

为了解决这些不足，本文提出了一种新的知识图和VLM决策支持框架KG-DS，它将消防安全工程知识形式化为明确的、机器可解释的结构，并利用这些知识来支持高度知识密集型的火灾紧急决策任务。该框架由两个核心模块组成。首先，通过自动实体-关系提取，从火灾调查报告和相关文档中构建火灾事故知识图（FIKG），编码点火源、可燃材料、危险和灭火行动的结构化表示。其次，基于VLM的推理模块整合文本、视觉和FIKG知识线索，生成全面的决策支持输出。该模块进行情境适应性推理，生成简化的公共指导和详细的专业策略。总之，本研究做出了几项关键贡献：

• 1.
  为了形式化消防安全工程知识，我们开发了一种关系导向的联合三元组提取模型（RO-JTEM），它从火灾调查文本中识别关系并提取事件实体，以构建FIKG。
• 2.
  VLM作为代理，操作FIKG中编码的结构化工程知识，结合基于图的检索和多模态感知来推荐适当的灭火策略。
• 3.
  我们在一个包含来自中国23个省（2014-2025年）的500份火灾和爆炸调查报告的真实世界数据集上进行了全面实验。结果表明，所提出的KG-DS框架为各种火灾场景提供了准确、可解释和实用的决策支持结果。

部分片段

问题表述

火灾事故报告是一种典型的紧急情况文档，其中包含关于点火事件、火灾发展、响应行动和原因的详细描述，如表1所示。这些描述对安全管理机构非常有价值，是评估危险和支持紧急决策过程的关键信息来源。

从大量火灾事故报告中过渡到火灾决策支持的主要目标是识别

方法论

本节详细介绍了火灾事故知识图（FIKG）的构建和使用方法，该图将关键的消防安全工程知识形式化为一种明确的、机器可解释的结构，可以用于计算推理和决策支持。这种设计使得能够系统地推理复杂的火灾场景，并支持基于知识和数据的决策。随后，基于构建的FIKG，我们概述了VLM执行的主要过程

数据集描述和实验设置

本研究使用的数据集来自中国23个省份的应急管理部门收集的500份官方事故调查报告。该数据集涵盖了各种重大事件，主要是大规模火灾事件，以及较少数量的爆炸和结构坍塌案例。这些报告在结构和长度上都有很大差异，反映了不同地区的文档风格差异。

结论

本文介绍了一个知识驱动的决策支持框架，它将消防安全工程知识形式化，并通过视觉语言模型将其与多模态推理相结合，支持明确和可计算的知识使用。首先，基于关系导向的联合实体-关系建模提取了大量三元组，构建了火灾事故知识图（FIKG）。然后，通过应用感知-思维-行动循环提示实现了KG-DS过程

CRediT作者贡献声明

Jianyuan Tao：撰写——原始草稿、方法论、概念化。Ping Wang：撰写——审阅与编辑、监督、形式分析。Hanfeng Jiang：验证、调查、数据管理。Yu Han：资源获取、项目管理、资金筹措。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

致谢

本研究得到了广东省自然资源厅（编号：GDNRC[2024]52）的资助。