PatchTST-FM-r1架构解密：Transformer如何重塑时间序列预测

【免费下载链接】patchtst-fm-r1项目地址: https://ai.gitcode.com/hf_mirrors/ibm-research/patchtst-fm-r1

PatchTST-FM-r1是一款基于Transformer架构的时间序列预测基础模型，通过创新的补丁化设计和强化训练策略，为时间序列预测任务带来了突破性的性能提升。该模型由IBM Research开发，具备同时处理缺失值填补和未来趋势预测的强大能力，在GiftEval等权威评估基准上实现了最先进的结果。

为什么选择PatchTST-FM-r1？核心优势解析

传统时间序列模型往往受限于固定的特征工程和短期依赖捕捉能力，而PatchTST-FM-r1通过四大创新实现了性能飞跃：

• 超长上下文理解：支持8192时间步的输入序列，远超传统模型的处理能力，能够捕捉更长期的历史模式
• 概率化预测能力：内置99个分位数的量化头（quantile head），可提供可靠的预测区间估计
• 双重功能集成：在预测未来的同时自动填补历史缺失值，简化数据预处理流程
• 高效训练策略：采用连续补丁掩码和随机掩码技术，配合重构损失目标，显著提升模型泛化能力

技术架构详解：从输入到输出的全流程

核心参数配置

PatchTST-FM-r1的架构参数经过精心优化，平衡了性能与计算效率：

• 模型规模：约2.6亿参数，其中2.5亿分布在核心Transformer层
• 维度设置：d_model=1024，n_head=16，n_layer=20，确保深度特征提取
• 补丁设计：patch_length=16，n_patch=512，将时序数据转化为结构化补丁序列
• 预测能力：prediction_length=64，支持多步预测任务

创新模块解析

图：PatchTST-FM-r1架构示意图（示意图，实际项目中无图片文件）

1. 输入输出残差块
   在输入投影和输出投影阶段引入残差连接，有效缓解深层网络的梯度消失问题，提升特征传递效率。

2. 补丁化时序处理
   将原始时间序列分割为固定长度的补丁（d_patch=16），通过线性投影转化为高维特征，保留局部时序信息的同时降低计算复杂度。

3. 强化掩码训练
   采用两种创新掩码策略：

   • 连续补丁掩码（pretrain_mask_cont=8）：随机掩盖连续的时间补丁
   • 随机掩码（pretrain_mask_ratio=0.4）：在预测周期内随机掩盖时间点 通过重构被掩盖区域实现无监督预训练，增强模型的泛化能力。

训练数据与性能表现

多元化训练数据

模型训练数据来自三个高质量数据源：

• GiftEvalPretrain数据集：包含丰富的真实世界时间序列
• 自定义合成数据：基于KernelSynth方法生成，包含多种周期模式
• TSMixup数据集：采用时间序列混合增强技术，提升模型鲁棒性

⚠️ 使用前请注意各基础数据集的许可协议，遵守开源使用规范。

关键性能指标

在GiftEval评估基准上，PatchTST-FM-r1展现出显著优势：

• 相比传统模型平均提升15-20%预测精度
• 在长序列预测任务中优势更明显，误差降低可达25%
• 支持99个分位数的概率预测，为决策提供全面风险评估

快速开始：使用指南

环境准备

首先克隆官方仓库：

git clone https://gitcode.com/hf_mirrors/ibm-research/patchtst-fm-r1 cd patchtst-fm-r1

模型配置

核心配置文件config.json包含关键参数设置，主要包括：

• 上下文长度（context_length=8192）
• 模型维度（d_model=1024）
• 预测长度（prediction_length=64）
• 量化头设置（num_quantile=99）

应用场景

PatchTST-FM-r1适用于多种时间序列预测场景：

• 金融市场趋势预测
• 能源消耗预测
• 供应链需求预测
• 环境监测数据分析

引用与致谢

如果您在研究中使用PatchTST-FM-r1，请引用以下论文：

@misc{wen2026revisitingtransformer, title={Revisiting the Generic Transformer: Deconstructing a Strong Baseline for Time Series Foundation Models}, author={Yunshi Wen and Wesley M. Gifford and Chandra Reddy and Lam M. Nguyen and Jayant Kalagnanam and Anak Agung Julius}, year={2026}, eprint={2602.06909}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2602.06909}, }

本项目由IBM与伦斯勒理工学院联合开发，部分计算资源由National Artificial Intelligence Research Resource (NAIRR) Pilot和Mass Open Cloud提供支持。

许可证信息

本模型采用cc-by-nc-sa-4.0许可协议，仅供非商业研究使用。商业用途请参考Apache-2.0许可的IBM Granite版本。

ℹ️ 项目代码作为开源项目提供，IBM不提供官方增强、更新或支持服务。

【免费下载链接】patchtst-fm-r1项目地址: https://ai.gitcode.com/hf_mirrors/ibm-research/patchtst-fm-r1