FreqMLNet:一种非Transformer网络,结合频域重构和多尺度表示技术用于时间序列预测

时间:2026年2月15日
来源:Neural Networks

编辑推荐:

时间序列预测方法创新,提出FreqMLNet模型,通过频率域重建捕捉周期性特征,结合多尺度特征融合模块整合局部与全局信息,解决高频信息丢失问题,实验验证在长短期数据集上均优于现有方法。

广告
   X   

何玉琳|陈琼斌|王瑞丽|Philippe Fournier-Viger|黄卓学
中国广东省人工智能与数字经济实验室(深圳),518107

摘要

时间序列预测在金融、气象、医疗保健和工业过程控制中至关重要。传统的时域预测方法难以捕捉复杂模式和结构。频域分析为识别周期性和振荡行为提供了另一种视角。然而,当前的频域方法通常会通过排除高频成分而丢失重要信息,这些高频成分包含对预测精度有影响的关键短期变化和突变。此外,现有的多层次分析未能充分整合局部和全局特征,使得预测算法难以同时捕捉详细的局部信息和广泛的全局趋势。为了解决这些问题,本研究提出了FreqMLNet,这是一种结合了频域重构和多层次特征表示的新型非变换器架构,以增强时间序列预测能力。FreqMLNet通过频域重构模块提取周期模式,并利用多层次特征表示整合来自多个尺度的信息,从而实现更全面的时间序列特征表示。实验结果表明,与最先进模型相比,该模型在七个长期数据集上的平均均方误差提高了14.39%,在四个短期数据集上的对称平均绝对百分比误差提高了11.03%。此外,深入分析显示FreqMLNet在复杂的 time series 预测任务中表现出更高的鲁棒性和预测精度。

引言

时间序列预测在各种应用中都至关重要,例如金融领域中的市场趋势观察(Biswas等人,2018年)、气象学中的天气预测(Morid等人,2023年)、医疗保健中的健康状况跟踪(Morid等人,2023年)以及工业过程控制中的优化操作制定(Xie等人,2020年)。准确的未来值预测能够促进更好的决策、更有效的资源分配和明智的战略规划。主要方法包括自回归积分滑动平均(ARIMA)(Singh等人,2020年)、指数平滑和支持向量回归,这些方法利用统计和机器学习策略来预测未来值。尽管实验表明它们在平滑和预测周期时间序列方面有效,但输入-输出线性假设和短期模式挖掘限制了它们捕捉复杂现实世界应用中的非线性结构和长期依赖性的能力。
近年来,提出了时域深度学习方法,包括长短期记忆网络(LSTM)(Graves和Graves,2012年)、循环神经网络(RNN)(Connor等人,1994年)和时间卷积网络(TCN)(Lea等人,2017年),用于分析复杂时间序列。这些模型通过学习非线性关系和长期依赖性提高了预测精度。然而,它们仍然难以捕捉周期性和多尺度信息,限制了它们完全重构全局周期特征和准确反映局部变化的能力(Tong等人,2024年)。为了解决这些限制,采用了频域和多尺度分析来探索具有可变周期性和微妙残差的复杂时间序列。
频域分析将时间序列的视角从时域转换到频域,有助于识别和探索周期模式和振荡行为。傅里叶变换和小波变换被广泛用于检查时间序列的频率特性。早期的基于滤波的频域方法经常将高频成分视为噪声,并用低通滤波器抑制它们,这经常导致关键信息的丢失(Eldele等人,2024年;Piao等人,2024年)。然而,并非所有高频成分都可以被忽略为噪声;在金融分析和机械故障诊断等领域,高频波动包含了重要的短期动态或表明了突然的异常事件。频域分析的最新发展,包括小波变换和先进的时间-频率定位方法,旨在适应性地保留这些有信息的高频特征,而不是丢弃它们。我们的方法明确地重构了周期模式,同时保留了可能包含宝贵信息的高频信号。
频域分析往往关注全局特征而忽视局部变化,这使得复杂多尺度信息的表征变得复杂(Salles等人,2019年)。现有的多尺度分析方法(Liu等人,2021年;Zhang和Yan,2023年)未能充分捕捉和整合局部和全局特征。它们倾向于强调细粒度的局部细节或广泛的全局趋势,导致时间序列的信息表示不完整(Wang等人,2023年)。一种高性能的特征提取方法应该将局部细微差别与整体模式相结合,以提供时间序列动态的全面视图。
为了在有效捕捉动态全局周期模式和局部波动的同时减轻直接去除高频成分造成的信息损失,本研究提出了一种名为FreqMLNet的时间序列预测算法。FreqMLNet结合了频域重构模块和多尺度特征提取与融合模块。这种非变换器架构仅依赖于时域和频域中的卷积和线性操作来建模时间依赖性,避免了使用自注意力或位置编码。本研究的主要贡献可以总结如下。
  • 频域重构模块: 该模块旨在通过频域重构从时间序列中提取周期模式。它首先使用一维卷积从时间序列中提取潜在特征,然后使用可微分的实数傅里叶变换将这些特征转换到频域,以获得频率、幅度、偏移和相位等关键信息。利用这些参数,该模块在频域中重构周期结构,并将它们映射回时域。通过利用频域重构,FreqMLNet算法有效地识别和利用时间序列中的固有周期性。
  • 多尺度特征提取与融合模块: 该多尺度特征提取与融合模块使用最大池化和下采样操作在不同时间分辨率下捕捉不同的模式。随后,这些来自不同尺度的多视角特征通过新设计的全局-局部融合模块进行融合,从而增强对复杂时间序列模式的捕捉。该模块使FreqMLNet能够在保持对整体周期性的理解的同时,识别时间序列中的细微变化,从而实现对复杂时间序列模式的全面表示。
我们在广泛使用的长期和短期预测数据集上进行了实验,将FreqMLNet与最先进算法进行了比较,评估了其鲁棒性和有效性。图1展示了与Autoformer(Wu等人,2021年)、Informer(Zhou等人,2021年)、Reformer(Kitaev等人,2020年)、SCINet(Liu等人,2022年)、Pyraformer(Liu等人,2021年)、Crossformer(Zhang和Yan,2023年)、MICN(Wang等人,2023年)、FreTS(Yi等人,2024年)和PatchMLP(Tang和Zhang,2025年)在七个基准数据集(Wu等人,2021年;Zhou等人,2021年:电力、交易所、ETTh1、ETTh2、ETTm1、ETTm2和ILI)上的比较结果。雷达图显示了均方误差(MSE)和平均绝对误差(MAE),表明FreqMLNet在长期和短期时间序列上都取得了更好的预测性能。此外,我们还进行了中心核对齐(CKA)(Kornblith等人,2019年)、回望检查、预测可视化和关键差异(CD)图(Demšar,2006年)实验,以验证FreqMLNet的表示能力、不同输入序列长度的影响以及其捕捉转折点和复杂模式的能力。总体而言,研究结果表明FreqMLNet在捕捉全局周期特征和处理多尺度信息方面表现出色。
研究的其余部分组织如下。第2节回顾相关工作。第3节介绍时间序列预测的关键定义。第4节详细介绍了提出的FreqMLNet算法。第5节展示了实验结果和分析。最后,第6节讨论了结论和未来工作。

相关工作

相关工作

以下小节回顾了基于时间、基于频率和多尺度的时间序列预测算法的相关工作。

问题定义

时间序列是一系列按时间顺序排列的数据点,可以是有限的也可以是无限的。这种类型的数据反映了随时间演变的事物或现象的状态。给定T个时间戳,时间序列可以正式描述为X{x1, x2, ……, xT}RD×T,其中xtRD1是对应于第t个时间戳的时间点,D表示每个时间点的数据维度。当D=1时,时间序列是单变量的;当D > 1时,X是多变量的。多步预测的目标是……

提出的FreqMLNet算法

本节详细介绍了FreqMLNet算法的设计和实现,该算法结合了频域重构和多尺度特征提取技术,以捕捉复杂的时间模式,并在时间序列预测中平衡局部和全局时间特征提取。该算法包括三个核心模块:频域重构模块、多尺度特征提取与融合模块和全局-局部特征融合模块。图2

实验

本节介绍了一系列实验,验证了FreqMLNet算法的可行性,并展示了其合理性和有效性。首先描述了实验设置,然后展示了结果。

结论

本研究提出了FreqMLNet,这是一种用于时间序列预测的新型非变换器架构,它结合了频域重构和多尺度特征提取。传统的时域预测方法往往难以捕捉复杂模式,特别是那些反映关键短期变化的高频成分。FreqMLNet通过使用频域重构模块来识别和保留必要的周期结构,从而解决了这些限制。

CRediT作者贡献声明

何玉琳:撰写——原始草稿,概念化。陈琼斌:王瑞丽:Philippe Fournier-Viger:黄卓学:

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

作者感谢编辑和三位匿名审稿人对本文的处理和审阅。这项工作部分得到了广东省自然科学基金(资助编号:2023A1515011667)和深圳市科技重大项目(资助编号:KJZD20230923114809020)的支持。

生物通微信公众号
微信
新浪微博


生物通 版权所有