自适应小波分解与事件感知的高频建模网络在多变量时间序列预测中的应用

时间:2026年2月18日
来源:Neurocomputing

编辑推荐:

本文提出AweHF模型,通过自适应小波分解模块分离多变量时间序列中的趋势与事件成分,结合轻量级MLP捕捉长期趋势,以及时空注意力网络与双源个性化图卷积模块建模高频事件,最终通过双向交互融合机制提升预测精度。实验表明AweHF在六个真实数据集上平均MAE降低超3.8%,显著优于现有基线方法。

广告
   X   

龚梦迪|王成慈|于杰|徐凌宇
上海大学计算机工程与科学学院,中国上海南陈路333号,200444

摘要

多变量时间序列(MTS)预测在交通、天气和海洋监测等现实世界领域有广泛的应用。然而,现实世界的MTS数据通常表现出多尺度非平稳特性。这些特性源于长期趋势与突发局部事件之间的动态耦合,使得准确预测极具挑战性。现有方法主要依赖于全局建模或固定的分解策略。然而,这些方法无法适应变化的时空数据和多样化的任务背景。它们无法根据时间序列数据的特征有效区分趋势和事件序列。此外,它们也无法对不稳定的高频事件进行建模。为了解决这些问题,我们提出了一种自适应小波分解和事件感知的高频建模网络(AweHF)。该模型采用自适应小波分解模块(AWD)以数据驱动的方式将原始序列分解为低频趋势和高频事件,避免了固定小波基的限制。随后,我们应用轻量级多层感知器(MLP)来捕捉趋势组件中的长期依赖性。此外,我们设计了时间聚合网络(TAN)和双源个性化图卷积(DSPGC)来共同建模事件组件的波动性和不稳定性。最后,使用双向交互融合机制将趋势和事件组件整合起来,以充分利用它们的互补优势。我们在多个领域的六个真实世界数据集上进行了广泛实验,结果表明AweHF的性能始终优于所有最先进的基线方法,平均MAE降低了3.8%以上。代码可在以下仓库获取:https://github.com/WangChengci/AweHF

引言

多变量时间序列(MTS)预测旨在识别历史数据中变量之间的模式和相关性,以预测未来趋势。MTS广泛应用于交通控制[1]、能源管理[3]、社会服务[5]和天气预报[6]等领域。随着新兴智能传感器的快速发展,时间序列数据的数量和复杂性持续增长。准确的MTS预测可以优化资源分配,并显著提高社会服务和公共安全的效率。
在现实世界场景中,MTS数据并不遵循单一的平滑模式。相反,它们表现出多尺度非平稳特性[8]。这些特性源于低频趋势和高频事件之间的动态耦合。例如,如图1(a)所示,同一节点随时间的交通流量可以反映规律的通勤趋势和突然的变化。同样,在海洋学中,如图1(b)所示,波高受到长期季节性趋势和极端天气引起的短期变化的影响[9]、[10]。除了MTS领域之外,对具有非平稳性[11]、多尺度动态和复杂交互的复杂系统进行建模一直是机器学习中的核心挑战。神经网络[12]、[13]、高斯过程回归[14]、[15]、基于图的学习[16]、[17]和集成方法等范式通过利用自适应表示、层次分解和混合建模策略[19]、[20]取得了显著的成功。这些进展表明了一个共同原则:通过分解不同的模式并用专门的、相互作用的组件进行建模,可以更好地捕捉异构和非平稳过程。受此启发,我们认为MTS预测也可以从自适应分解和异构建模中受益,特别是在面对耦合趋势、突发事件和动态变量依赖性时。趋势和事件的混合使得单一模型难以完全捕捉MTS数据的所有特征。因此,有必要根据它们的内在数据特征将趋势和事件分开,然后分别进行研究。
现有方法在处理这些复杂模式时仍面临相当大的限制。首先,大多数方法采用全局建模策略,忽略了数据的多尺度特性。例如,STFGNN[21]和DDGCRN[22]直接将原始时间序列作为输入,但仅捕捉到表面特征。尽管ASTGNN[23]通过编码时空嵌入来增强特征表示,但它忽略了发生在长期稳定趋势中的突发事件。因此,这些模型难以捕捉长期趋势和短期事件之间的交互。上游数据处理的不足严重限制了下游模型提取时空特征的能力,使得准确预测变得困难。这一挑战促使研究人员从原始数据中提取更丰富的信息,同时设计复杂的下游模型来捕捉多样化的特征。一些方法尝试分解时间序列以获取更多信息;然而,它们存在相当大的限制。例如,DSTIGNN[16]使用下采样来提取多分辨率数据,而D2STGNN[24]将节点之间的关联与单个节点的历史变化分离。然而,这些方法忽略了时间序列数据中趋势和事件之间的相互作用,仍然局限于表面的时空分解[25]。FEDformer[26]和Pathformer[27]等方法将时间序列分解为趋势和季节性组件。然而,它们的粗略分解过度平滑了突发事件的波动,导致预测效果不佳,因为模型难以捕捉到局部爆发。这些方法低估了时间序列的两个基本属性:趋势和事件的重要性。趋势反映了长期变化,并直观地表明了某个时期的增长或下降。事件代表了特定时刻的突然变化,揭示了时间序列的不稳定性。HiLIN[28]和STWave[29]使用固定小波基的离散小波变换(DWTs)来分解时间序列。然而,固定的基和窗口无法适应不同的数据集或同一数据集中的不同时间段,限制了它们表示突发、高波动性和非周期性序列的能力。此外,高频序列被视为普通序列,而没有对高频事件的突发性和不稳定性进行建模。这些突发组件在很大程度上决定了预测的难度,强调了需要能够捕捉高频特征和处理不稳定性的专门方法。
鉴于现有方法在处理MTS数据方面的局限性,我们提出了一种新颖的自适应小波分解和事件感知的高频建模网络(AweHF),如图2所示。所提出的模型应用自适应小波分解模块(AWD)将耦合的原始时间序列分解为低频趋势序列和高频事件序列。它动态调整小波变换的参数,以避免预定义小波基和固定窗口的局限性,这些基和窗口缺乏对特定任务的适应性。这一过程为下游预测模型提供了更具任务相关性的低频和高频序列。我们通过使用多层感知器(MLP)来学习低频趋势的长期稳定模式,并设计TAN-DSPGC模块来建模高频事件的不稳定性。具体来说,TAN-DSPGC包括一个时间聚合网络(TAN),它压缩时间维度,为后续的双源个性化图卷积(DSPGC)提供全局变异意识。我们的研究表明,基于分解的学习和对不同序列特征的个性化建模对于MTS预测至关重要。此外,双向交互融合框架和动态图的引入使我们的模型能够识别不同数据类型中的多样化模式。本研究的主要贡献可以总结如下:
  • 用于趋势和事件的AWD。我们引入AWD将MTS分解为低频趋势和高频事件。通过动态调整小波参数,分解适应了异构数据特性,实现了对稳定趋势和突发事件的准确建模。
  • 用于高频事件的TAN-DSPGC。我们设计TAN-DSPGC模块来捕捉高频序列的突发性和不稳定性。多尺度TAN压缩时间维度,提供全局变异意识。注意力机制动态突出显示变化显著的节点,而DSPGC模型则能够精确建模高频事件。
  • 全面的实证验证。AweHF在六个真实世界数据集上进行了广泛的预测实验。结果证实了AweHF相对于最先进基线的优越性能。此外,还进行了消融研究以验证每个模块的贡献和有效性。

部分片段

多变量时间序列预测

早期关于MTS预测的研究主要依赖于统计方法。自回归积分移动平均(ARIMA)[30]结合了自回归(AR)和移动平均(MA)组件,提供了灵活可靠的统计能力。同样,向量AR(VAR)[31]推广了AR模型,适用于MTS预测任务。然而,这些方法假设线性或简单的非线性依赖性,这限制了它们模拟复杂交互的能力

符号和定义

定义1

形式上,图表示为,其中表示节点(变量)的集合,表示节点的总数。表示边集,是描述节点之间关系的加权邻接矩阵。如果节点之间存在边,即,那么邻接矩阵中的相应条目为;否则,。邻接矩阵可以基于已知关系预先定义,或者从输入数据中学习得到。

定义2 节点嵌入

节点嵌入表示为

概述

AweHF的总体框架如图2所示。该模型包括自适应小波分解(AWD)模块、序列建模模块(高频和低频)以及双向交互融合框架。
  • 自适应小波分解:大多数现有方法关注时空表面分解,忽略了MTS中趋势和事件之间的动态耦合。固定的分解方法难以适应不同数据集的非平稳性。
  • 实验

    为了系统评估AweHF,我们在交通和海洋领域的六个真实世界时间序列基准数据集上进行了全面实验。实验设计围绕五个主要研究问题:
  • RQ1:AweHF与基线方法相比表现如何?
  • RQ2:AweHF模型的不同组件如何影响其性能?
  • RQ3:关键超参数如何影响AweHF的性能?
  • RQ4:AweHF的核心组件是否增强了预测能力
  • 结论

    在本文中,我们提出了AweHF来解决MTS数据中复杂的非平稳性问题。AweHF使用AWD将序列分解为高频事件和低频趋势组件。这种数据驱动的分解克服了固定小波基的局限性。为了捕捉分解组件的独特属性,我们应用TAN和DSPGC来建模高频序列的时空动态。同时,使用轻量级MLP来学习长期

    CRediT作者贡献声明

    龚梦迪:数据整理、概念化、方法论、编程、可视化、撰写 - 原始草案。王成慈:可视化、概念化、方法论、验证、编程。于杰:验证、监督。徐凌宇:监督、资源管理、项目协调、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了中国国家重点研究计划(编号2021YFC3101600)的支持。
    龚梦迪目前在中国上海大学计算机工程与科学学院攻读电子信息硕士学位。她的研究兴趣包括深度学习和多变量时间序列预测。

    生物通微信公众号
    微信
    新浪微博


    生物通 版权所有