OntoLLM:利用本体论和知识图谱提升大型语言模型(LLM)的逻辑连贯性及防止偏离主题的能力

时间:2026年2月5日
来源:Expert Systems with Applications

编辑推荐:

工业领域对话式AI面临上下文连贯和语义歧义挑战,传统检索增强生成系统效果不佳。本文提出OntoLLM框架,通过本体与知识图谱的集成、动态问题节点设计、双重查询机制及上下文感知响应机制,有效解决语义消歧、话题偏移和跨文档污染问题。实验在四个工业数据集验证,其精度达91-93%,BLEU-4达87.8-92.3%,上下文保持率提升63%。分隔符:

广告
   X   

普鲁特维·拉杰·文卡特什(Pruthvi Raj Venkatesh)| 帕德哈·拉达·克里希纳(P. Radha Krishna)
计算机科学与工程系,瓦朗加尔国家技术学院,瓦朗加尔,506004,特伦甘纳邦,印度

摘要

大型语言模型(LLMs)在工业对话式人工智能应用中面临重大挑战,尤其是在保持对话连贯性和防止在复杂领域对话中偏离主题方面。传统的检索增强生成(Retrieval-Augmented Generation, RAG)系统在处理不同文档中存在相似内容时的语义歧义时遇到困难,这会导致对话中的信息交叉污染。本文介绍了OntoLLM这一新型框架,它将本体论和知识图谱与LLMs相结合以解决这些限制。OntoLLM采用了一种统一的知识图谱集成方法,通过创新的“问题”节点将结构化的领域知识与非结构化的文档内容连接起来,从而实现精确的语义歧义消除。该框架结合了针对结构化和非结构化信息检索的双重查询处理机制,以及基于本体论的相关问题生成机制,以防止对话偏离。我们在四个工业数据集上评估了OntoLLM的性能,这些数据集涵盖了探索计划、管道管理、员工政策和电机手册等内容。实验结果表明,OntoLLM的精确度达到了91-93%,而基线系统的精确度为63-71%;BLEU-4分数分别为87.8-92.3和72.1-79.8;在多轮对话中,OntoLLM在保持上下文连贯性方面的表现也优于基线系统,其引导效果超过了73%。消融研究显示,统一的知识图谱集成是最重要的贡献因素,去除这一组件会导致精确度下降20个百分点,BLEU-4分数下降15.3个百分点。这些发现证明了OntoLLM是部署在复杂工业环境中可靠、具有上下文意识的对话式AI系统的有效解决方案。

引言

大型语言模型(LLMs)的出现彻底改变了自然语言处理和对话式AI领域,其应用范围从客户服务扩展到复杂的工业系统(Radford, Wu, Child, Luan, Amodei, & Sutskever, Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, 2017)。在工业环境中,基于RAG的对话式AI系统(Gao et al., 2023)被越来越多地用于回答关于关键操作的问题,包括设备维护程序、政策合规性要求和技术文档等。这些系统必须处理多样化的操作场景,工作人员需要从庞大的技术手册、组织政策和操作程序库中获取准确且与上下文相关的信息。然而,在工业环境中部署这些先进的AI系统带来了独特的挑战,尤其是在保持语义精确性、防止类似内容之间的信息交叉污染以及管理用户偏离原始意图的对话偏离方面。
这些挑战在石油和天然气、制造业以及航空航天等高风险工业领域尤为突出,因为错误的信息检索可能导致安全隐患、合规违规和操作失败。例如,在炼油厂中,工程师必须从包含数百种不同类型设备的文档库中检索特定的设备手册,如果检索方法不当,相似的维护程序可能会引起危险混淆。此外,用户有意或无意地偏离原始查询焦点时,会导致对话偏离,从而使系统失去对关键上下文(如特定设备型号、监管框架或安全协议)的跟踪。这些环境的复杂性要求对话式AI系统能够在多轮对话中保持精确的上下文意识,同时防止语义混淆和由于话题变化导致的对话偏离。
当前的检索增强生成(RAG)系统在工业环境中面临三个关键限制。首先,传统的RAG架构在处理不同文档中存在相似内容时的语义歧义时存在困难(Karpukhin et al., 2020)。其次,现有系统缺乏进行精确实体歧义消除所需的结构化知识表示集成,导致典型应用中的上下文丢失(Hogan, Blomqvist, Cochez, D’amato, Melo, Gutierrez, Kirrane, Gayo, Navigli, Neumaier, Ngomo, Polleres, Rashid, Rula, Schmelzeisen, Sequeda, Staab, Zimmermann, 2021, Pan, Luo, Wang, Chen, Wang, & Wu)。第三,现有方法无法充分防止工业领域中的对话偏离或保持对特定主题的关注,从而可能在安全关键应用中产生潜在的危险错误信息(Paranjape, Kale, Joshi, Jain, Saha, Agrawal, Jain, Saha, Jain, Agrawal, et al., Yoshida, Hiraoka, Neubig, Sakti, Toda, Nakamura, 2014)。这些限制凸显了当前AI技术中的根本缺陷,需要将结构化知识与对话能力相结合。
图1展示了设备维护(左侧部分)和政策查询(右侧部分)领域的示例,说明了在包含重叠内容的RAG设置中,相似内容如何导致错误响应和信息交叉污染。在设备维护示例中,当炼油厂工程师询问电机安装程序时,系统必须保持对特定电机型号(例如“X100”与“Y200”)的上下文。然而,系统对Q1和Q2都给出了相同的响应,因为检索系统主要从电机X100的相关内容中获取信息,导致不同电机规格之间的信息交叉污染。这是因为检索到的信息缺乏明确的型号标识符(“X100”或“Y200”),从而产生无意的偏见,可能导致不准确的信息,并可能影响关键的合规决策。用户可能会偏离修复“Y200”电机的目标,因为后续问题大多由系统提供的当前响应决定,进一步加剧了信息交叉污染的问题。
同样,在政策查询示例中,当用户询问不同部门或角色的休假政策时,由于政策文档中的内容重叠,系统可能会对不同的查询给出相同的响应。这种无法区分部门特定或角色特定政策的情况可能导致错误信息和合规风险。
为了解决这些根本挑战,我们提出了OntoLLM这一新型框架,它将本体论和知识图谱与大型语言模型相结合,以增强对话式AI系统。OntoLLM利用结构化知识表示来提高上下文理解能力,防止话题偏离,并确保在多领域场景中准确的信息检索。我们的方法引入了创新的“问题”节点,将结构化知识图谱与非结构化文档内容连接起来,实现精确的上下文跟踪和保持对话连贯性。该框架采用基于本体论的查询生成机制,确保目标导向的对话,并利用知识图谱关系在多轮交互中保持特定实体的上下文。
本工作的关键贡献包括:
  • OntoLLM框架:一种新型架构,它在推理时将本体论和知识图谱与LLMs相结合,无需重新训练模型即可灵活地整合特定领域的知识。
  • 问题节点创新:引入了动态的“问题”节点,将结构化知识图谱与非结构化文档内容连接起来,实现精确的上下文跟踪和防止信息交叉污染。
  • 基于本体论的查询生成:一种系统化的方法,用于生成有针对性的、目标导向的查询,利用领域特定的知识结构来保持对话的相关性。
  • 上下文感知的响应机制:一种通过知识图谱关系跟踪和特定实体上下文保持来维持多轮对话连贯性的新方法。
本文的其余部分安排如下:第2节详细介绍关键概念,第3节回顾相关文献,第4节正式定义问题,第5节描述OntoLLM框架,第6节介绍实验设置,第7节展示实验结果,第8节分析错误传播风险及改进途径,第9节总结OntoLLM的关键贡献。

部分片段

关键概念

本节涵盖了OntoLLM框架中的所有关键基础概念和技术:本体论、知识图谱和检索增强生成(RAG)。

相关工作

将结构化和非结构化知识与大型语言模型(LLMs)相结合已成为改进服务于各种行业的对话式AI系统的关键策略。在本节中,我们将一些该领域的关键进展与我们的OntoLLM方法进行比较。比较的主题包括知识图谱集成、基于本体论的方法、上下文保留和检索增强生成(RAG)技术。

问题表述

我们解决了在工业环境中增强LLMs用于对话式AI系统的挑战。我们的问题可以正式定义为:
给定:
  • 一个大型语言模型 L
  • 一个知识图谱 G=(V, E, P)
  • 一个本体论 O 是知识图中实体和关系的结构化表示。
  • 一个非结构化文档语料库 D={d1, d2, , …, dm}
  • 一组查询

提出的OntoLLM框架

本节详细描述了OntoLLM框架的工作流程,特别强调了每个组件如何直接解决现有RAG系统中的限制。该框架包括两个主要工作流程:“非结构化数据与知识图谱集成”和“基于本体论的信息检索和偏离预防”。这两个工作流程协同作用,解决了三个关键挑战:语义歧义、结构化

实验设置

本节描述了用于评估OntoLLM性能的全面实验框架,包括检索准确性、响应质量、上下文连贯性、对话引导和计算效率等多个维度。

结果

本节展示了OntoLLM在多个评估维度上的显著改进效果,包括检索准确性、响应质量、上下文连贯性和对话引导方面。

自动化本体构建方法

OntoLLM依赖于现有的本体论,这可能限制了那些没有建立本体构建和维护流程的组织的采用。大型语言模型(LLMs)的最新进展为通过自动化或半自动化方式构建本体论提供了有希望的途径,同时保持了工业部署所需的质量和一致性(Babaei Giglou, D’Souza, Auer, 2023, Doumanas, Bouchouras, Soularidis, Kotis, Vouros, 2025)。

结论

本文介绍了OntoLLM这一新型框架,它将本体论和知识图谱与大型语言模型相结合,以解决工业对话式AI系统中的关键挑战。我们的方法成功解决了传统RAG系统面临的基本问题,如上下文偏离或偏离、语义歧义和信息交叉污染。
OntoLLM在所有评估指标上均取得了显著的性能提升:精确度达到了91-93%。

CRediT作者贡献声明

普鲁特维·拉杰·文卡特什(Pruthvi Raj Venkatesh):概念化、方法论、软件开发、验证、形式分析、调查、数据整理、初稿撰写、审阅与编辑、可视化。
帕德哈·拉达·克里希纳(P. Radha Krishna):概念化、方法论、验证、资源提供、审阅与编辑、监督、项目管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

生物通微信公众号
微信
新浪微博


生物通 版权所有