为时序知识图谱推理建模事件的双向模式

本文提出MoBilE模型，通过双向模式对比学习和贝塞尔函数编码，同时捕捉时间衰减和周期性模式，并设计融合机制实现双向历史信息的交互，显著提升时间知识图谱推理性能。

李泽鹏|何超|黄瑞奎|张世磊|张振文|朱江红

中国甘肃省可穿戴计算重点实验室，兰州大学信息科学与工程学院，兰州，730000

摘要

时间知识图（TKGs）被广泛认为是捕捉和表示随时间演变的事件的有效方法。TKGs的外推任务旨在基于历史信息预测未来事件。事件可以以正向和反向两种模式出现，这两种模式的历史信息各不相同，但它们之间是相互关联的。然而，现有的方法主要集中在对单一模式的历史信息进行建模，而没有考虑双向模式之间的历史联系。为此，我们提出了一种方法来分离事件的双向模式（MoBilE），以便于对TKGs进行推理。该方法能够有效地捕捉单一模式的历史模式以及双向模式之间的相互联系。具体来说，MoBilE引入了贝塞尔函数来编码实体的时间语义信息，同时模拟时间衰减和周期性历史模式。我们设计了一个基于历史的先验组件，根据时间衰减来计算先验概率。此外，MoBilE在训练阶段设计了正向-反向模式对比学习组件，以实现事件双向模式的历史信息的耦合。最后，MoBilE在推理阶段使用融合函数，通过考虑事件双向模式的概率来获得最终的实体预测分布。在六个基准数据集上的实验表明，MoBilE在大多数指标上的表现优于现有模型。

引言

知识图（KG）是现实世界中知识的抽象表示。KG的快速演变和复杂动态特性使得时间成为一个关键因素（Wu等人，2024年）。时间知识图（TKGs）通过添加时间信息来扩展传统的KG，以表示事件发生的时间。时间知识图推理（TKGR）任务旨在基于现有事件推断新事件，涉及两种主要设置：插值设置和外推设置（Chen等人，2024年）。前者侧重于补偿历史中缺失的事件，而后者利用历史信息预测未来事件。外推任务的应用具有重大价值，特别是在交通预测（Yang & Qi，2022年）、事件检测和预警（Ge等人，2022年）以及个性化推荐系统（Mezni，2021年）等下游应用中。因此，本文我们更关注外推设置下的时间知识图推理。

在TKG中，事件可以以双向模式表示：正向模式（s, r, o, t）和反向模式（$(o,r^{-1},\mathrm{s<mo>,</mo><mo>t</mo>}$。例如，“俄罗斯总统普京于2015年9月2日对中国进行了为期两天的国事访问”这一事件可以在TKG中以正向模式表示为（中国，主办 访问，普京，2015/09/02），同时也可以以反向模式表示为（普京，进行 访问，中国，2015/09/02）。（注意，这个例子来自ICEWS¹知识库，在该知识库中主办 访问和进行 访问是一对互逆关系。）当选择不同的中心实体时，事件两种模式的历史信息会发生变化，但它们仍然是相互关联的。历史信息在外推任务中起着关键作用，为理解事件的趋势和变化提供了关键线索。

现有模型侧重于在单一模式下对历史信息进行建模，使用相同的方法独立预测事件的正向模式或反向模式中缺失的实体。TiRGN Li、Sun和Zhao（2022a）考虑使用全局历史信息来学习历史事件重复的模式，从而提高了推理性能。然而，大多数模型没有考虑事件双向模式之间的历史联系，这可以归结为两个挑战：

（1）在事件的单一模式下对历史时间模式的建模是不完整的。实体的发展不是孤立的，而是一个持续的过程。不同时间子图中的实体随着时间的推移而相互关联，形成了复杂的历史模式。我们发现实体的某些属性对现在有时间衰减的影响，而某些属性表现出周期性。在历史领域，实体的某些行为在特定时期可能会表现出周期性，例如政治选举、经济活动和社会运动等。此外，如图2所示，通过计算YAGO和WIKI数据集中不同时间间隔的实体衰减率，我们可以观察到实体的影响会随时间减弱。

（2）没有考虑事件双向模式之间的联系。如图1所示，事件可以以两种模式表示：（中国，主办 访问，普京，t）和（普京，进行 访问，中国，t）。在查询事件时，我们可以将（中国，主办 访问，？，t）视为正向查询，将（进行 访问，中国，t）视为反向查询。现有模型分别独立预测正向和反向查询中缺失的实体，而没有考虑它们之间的联系。对于正向查询（中国，主办 访问，？，t），如果只进行单向查询，候选实体的排名将是：越南、德国、普京、连战。由于只考虑了单向历史，越南被错误地列为正确答案，而不是普京。然而，如果我们将这四个候选实体输入到反向查询（进行 访问，中国，t）中，利用它们来自反向模式的历史信息，就可以纠正正向查询中的答案，因为普京与中国有密切的历史关系。因此，找到一种适当的方法来模拟双向模式之间的联系至关重要。

为了解决上述挑战，我们提出了一种方法来分离事件的双向模式（称为MoBilE），以便于对TKGs进行推理。理论上，耦合双向模式是有效的，因为：（1）正向和反向的历史子图提供了关于同一事件的互补上下文信息，丰富了整体历史表示；（2）通过对比学习对它们的概率分布进行对齐，增强了模型对稀疏或噪声单向历史的鲁棒性。该方法包括两个模块：单模式历史模块（SMH）和双向模式链接模块（BML）。SMH模块捕获事件单一模式及其组成实体的历史模式。具体来说，它引入了第一类贝塞尔函数（Bowman，2012年）来编码时间数值信息，同时考虑时间衰减和周期性历史模式。此外，我们通过时间衰减设计了一个基于历史的先验组件来计算不同四元组中每个实体的先验概率。BML模块模拟双向模式之间的联系。我们在训练阶段设计了正向-反向模式对比学习组件，以实现事件双向模式的历史信息的耦合。此外，BML在推理阶段使用融合函数，通过结合双向模式的实体概率来获得最终的实体预测分布。

我们的贡献如下：

•

我们提出了一个名为MoBilE的时间知识图推理模型，该模型有效地模拟了双向模式之间的历史联系。据我们所知，MoBilE是TKGR领域中第一个考虑事件双向模式联系的模型，并设计了正向-反向模式对比学习组件。

•

MoBilE不仅引入了贝塞尔函数来同时模拟实体的时间衰减和周期性，还设计了基于历史的先验组件来利用事件的历史模式。

•

在六个公共数据集上的实验表明，MoBilE的性能优于现有最佳模型，在ICEWS05-15数据集上的MRR提高了3%。

章节片段

插值下的TKGR

插值设置下的时间知识图推理模型旨在推断时间知识图中发生的缺失事实，而不受时间限制（Liao、Liang、Meng和Zhang，2021年）。例如，TTransE（Leblay和Chekol，2018年）基于TransE框架（Bordes、Usunier、Garcia-Duran、Weston和Yakhnenko，2013年）整合了事实之间的时间信息。TNTComplEx（Lacroix、Obozinski和Usunier，2020年）采用了四维张量分解

符号说明

在时间知识图中，我们通常使用$G$来表示实体集、关系、时间戳和事实（Cai等人，2024年）。时间知识图（TKG）被形式化为按时间戳排序的知识图快照序列，即$G,G_1,G_2,..,G_{\left|T\right|}\}$（Gao等人，2024年）。知识图快照$G=G_1,G_2,..,G_{\left|T\right|}\}$包含所有在时间t发生的事实$F_{}\in F$。每个事实由一个四元组（s, r, o, t）表示，表示主体实体$s\in E$与对象实体$o\in E$相关联

数据集

为了评估MoBilE在时间知识图推理任务中的有效性和泛化能力，我们使用了以下六个时间知识图数据集：ICEWS14、ICEWS18、ICEWS05-15（Ying等人，2024年）、YAGO（Zhang、Wei、Huang、Xie和Chen，2024b）、WIKI（Mingcong、Zhu、Zhang、Wen和Qing，2024年）、GDELT（Leetaru和Schrodt，2013年）。遵循Zhang、Xia、Liu、Wu和Wang（2023年）的方法，我们根据时间顺序将数据集分为训练集、验证集和测试集，比例为8:1:1。

结论

在本文中，我们提出了一个时间知识图推理模型MoBilE。与其他外推模型不同，MoBilE考虑了事件双向模式之间的历史联系。它设计了SMH模块来更好地模拟事件单一模式内的历史时间模式，并引入了BML模块来促进事件双向模式之间的交互。MoBilE在六个数据集上均表现出色

作者致谢

李泽鹏：概念化、方法论、软件、资金获取。

何超：数据整理、方法论、软件、写作 - 原稿准备。

黄瑞奎：方法论、写作 - 审查与编辑、验证。

张世磊：方法论、写作 - 审查与编辑、验证。

张振文：方法论、写作 - 审查与编辑。

朱江红：方法论、写作 - 审查与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。