近年来，深度学习在多变量时间序列（MTS）分析中的应用迅速发展，解决了诸如海洋状态预测、数据填补和异常检测等关键任务（Hao等人，2025年）。这一进展在很大程度上得益于海洋物联网（IoT）系统的普及，这些系统由大量的浮标和自主水下航行器（AUV）组成，持续生成大量的海洋数据流。大多数这些方法都是针对特定任务设计的，适用于每个问题的独特特征。例如，已经开发出基于趋势和季节性分解的模型来预测海表温度（SST），使用条件扩散模型来填补IoT环境中常见的传感器间歇性连接导致的数据空白，并利用关联差异来检测异常现象，如海洋热浪。尽管这些方法有效，但为不同的海洋应用选择合适的特定任务模型可能是一个耗时的过程。此外，即使在同一任务中，环境的变化（例如将预测范围从1步扩展到24步）通常也需要重新训练整个模型。
在未标记数据上进行自监督预训练已成为一种强大的范式。尽管在自然语言处理（NLP）和计算机视觉（CV）等领域取得了成功，但将其应用于MTS（主要通过对比或掩码重建方法）仍存在显著差距（Houlsby等人，2019年）。与NLP/CV中的多任务框架不同，大多数MTS预训练框架仅作为特定任务的加速器，提高单一任务（如预测）的性能。它们通常只作为参数初始化步骤，需要重大的架构更改才能解决其他问题（Ding等人，2023年）。
然而，一个重要问题仍然存在。大多数现有的预训练方法都是作为特定任务的加速器设计的，专注于提高单一任务（如预测）的性能。这种专门的关注导致了它们忽视了海洋物联网环境中的一个根本挑战：数据源的极端异质性。海洋数据在变量配置、规模和采样频率方面本质上表现出异质性。例如，不同站点的传感器阵列差异巨大，数据记录长度也相差数个数量级。第3.2节和图4提供了这些异质性特征的详细统计分析和可视化，突显了标准模型难以处理的碎片化现状。
如图1（左侧）所示，真实世界的海洋数据来自各种传感器平台（源域），每个平台测量不同数量和类型的变量。通过对Copernicus海洋数据集的统计分析发现，不同观测站的传感器配置差异巨大。数据集大小严重不平衡，主要站点积累了超过10万条记录，而偏远浮标可能提供的记录少于1万条，形成了不兼容的特征空间碎片化格局。按照设计，传统的多变量神经网络需要固定的输入维度，这使得训练一个能够融合来自不同变量集知识的单一模型几乎不可能。然而，为了实现强大的性能，模型必须同时学习所有可用观测变量中固有的丰富模式，并在推理时利用它们之间的物理相关性。这一困境迫切需要一个真正通用的框架来处理多种多样的海洋任务。
为了解决这一难题，我们提出了一个统一的框架——MARINE-Transformer（多变量异常检测重建填补多步预测可扩展Transformer）。这一命名反映了我们的模型处理海洋时间序列中复杂演变动态的能力。我们的框架通过两个不同的阶段来解决这种异质性，如图1（右侧）所示。它首先进行基础的单变量预训练阶段，巧妙地绕过了固定维度的限制。通过将来自庞大源域的每个变量视为独立的单通道时间序列，模型可以从任意数量的变量中吸收知识，从而创建一个强大的、与来源无关的表示。接下来是专门的多变量微调阶段，在这里，预训练的表示被高效地适配到给定目标站点的特定变量集，重新引入并利用它们独特的物理相互作用，提供最先进的预测、数据填补和异常检测解决方案。
我们的方法受到了来自海洋中分布式IoT传感器收集的数据中依赖性固有异质性的启发：时间依赖性，它捕捉单个变量随时间的演变（例如，叶绿素-a的季节性周期）；以及跨通道依赖性，它捕捉不同物理变量之间的关系（例如，温度和盐度对水密度的影响）。后者通常由潜在的物理动态决定，并且相对稳定。我们通过开发从单变量到多变量的范式来利用这一点。MARINE-Transformer在单变量预训练阶段首先关注时间依赖性，故意忽略跨通道的相互作用。然后在随后的多变量微调阶段将这些关键的变量间关系纳入考虑。
具体来说，MARINE-Transformer的预训练阶段从源MTS数据生成不同长度的单变量实例，利用掩码自编码器（MAE）框架内的单通道重建任务。需要注意的是，我们的单变量预训练策略是由于源数据集的不连续性而必需的。由于许多源站点监测的变量子集完全不同，几乎没有重叠，构建一个联合的多变量分布在结构上是不可行的。标准的多变量方法需要人工填充零值，这会引入非物理的伪影。因此，单变量范式是唯一能够从这种异构来源中聚合知识的方法。通过将预测、数据填补和异常检测表述为特定的掩码重建问题，预训练模型可以直接执行这些任务而无需修改。在微调过程中，我们冻结预训练的骨干网络，并引入一个由动态构建的稀疏依赖图引导的通道交互机制，以显式模拟变量之间的复杂关系。
我们的贡献有三个方面：
1.我们提出了一个通用的框架MARINE-Transformer，基于从单变量到多变量的范式。这种两阶段方法专门设计用于解决海洋IoT数据中固有的数据源异质性问题，其中单变量预训练首先学习与来源无关的时间动态，然后多变量微调将这些知识适配到目标站点的特定跨变量物理特性。
2.我们将三个经典任务——预测、数据填补和异常检测——统一在一个共同的掩码重建框架下。与需要为不同任务训练单独的下游回归器的表示学习框架（例如，TST（Zerveas等人，2021a）、TS2Vec（Yue等人，2022）、TNC（Bai，2018）不同，我们的生成范式允许通过简单地改变掩码策略来直接解决这些不同的挑战，显著简化了建模过程。
3.我们在一个真实的海洋数据集上进行了全面的实验。结果表明，微调后的MARINE-Transformer在预测和数据填补方面达到了最先进的性能，并在异常检测方面显示出极具竞争力的结果。
