三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

Toto-2.0-2.5B-FT常见问题解答:解决99%用户遇到的模型使用难题

Toto-2.0-2.5B-FT常见问题解答:解决99%用户遇到的模型使用难题

Toto-2.0-2.5B-FT常见问题解答:解决99%用户遇到的模型使用难题

【免费下载链接】Toto-2.0-2.5B-FT项目地址: https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B-FT

Toto-2.0-2.5B-FT是Datadog推出的时间序列预测模型,基于Toto 2.0 2.5B基础模型在GIFT-Eval训练集上微调而成,主要用于基准测试,在GIFT-Eval排行榜上表现优异。本文将解答用户在使用该模型时可能遇到的常见问题,帮助新手和普通用户顺利上手。

🤔 模型基础认知问题

什么是Toto-2.0-2.5B-FT模型?

Toto-2.0-2.5B-FT是Toto 2.0 2.5B基础模型在包含GIFT-Eval训练集的混合数据上微调得到的基准测试模型,旨在探究基础模型在单一分布内基准测试中的性能极限。需要注意的是,这并非通用模型,实际工作负载建议使用Toto 2.0系列基础模型,它们未经任何公共数据预训练,在各种评估基准上具有良好的泛化能力。

模型适用于哪些场景?

该模型主要用于时间序列预测相关的基准测试场景,可在GIFT-Eval等时间序列预测排行榜中进行性能评估。其在GIFT-Eval排行榜(基础模型+微调模型+集成模型+智能体)中,CRPS排名和MASE排名均位列第二,原始CRPS/MASE排名第三,仅次于Toto 2.0 Family-and-Friends集成模型。

📥 模型获取与安装问题

如何获取Toto-2.0-2.5B-FT模型?

可以通过克隆仓库的方式获取模型,仓库地址为:https://gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B-FT 。

安装模型需要哪些依赖?

模型的library_name为pytorch,因此需要安装PyTorch相关依赖。具体依赖可参考项目的官方文档或相关配置文件。

⚙️ 模型配置与参数问题

模型有哪些主要配置参数?

模型的配置参数在config.json文件中,主要包括:

  • attn_bias: true
  • d_ff: 5464
  • d_model: 2048
  • dropout_p: 0.0
  • heads_per_group: 1
  • layer_group_size: 48
  • mlp_bias: false
  • norm_eps: 0.0005
  • num_groups: 32
  • num_heads: 32
  • num_layers: 48等。这些参数决定了模型的结构和性能。

微调时的配置是怎样的?

从完全衰减的Toto-2.0-2.5B基础检查点开始,在混合数据上微调了10,000步。混合数据来源及占比为:GIFT-Eval Pretrain占45%,Datadog 5分钟以上可观测性指标占25%,GIFT-Eval训练集占15%,Synthetic (TempoPFN)占10%,Datadog 10秒可观测性指标占2.5%,Datadog 60秒可观测性指标占2.5%。NorMuon和AdamW学习率较预训练时降低约一个数量级(分别降至0.05和0.001),其他架构和推理设置与基础2.5B模型一致。

🚀 模型使用与性能问题

模型的性能指标如何?

在GIFT-Eval数据集上,模型的CRPS值为0.463,MASE值为0.679,在相关排行榜上表现出色。

使用模型时出现性能不佳怎么办?

首先检查是否正确使用了模型,输入数据是否符合模型要求。若确认使用无误,可尝试参考模型的微调 recipe 对模型进行进一步优化,或考虑使用Toto 2.0系列的基础模型,它们在实际部署中更受推荐。

📚 其他相关问题

有哪些额外的资源可以参考?

  • Technical Report
  • Blog Post
  • Base model: Toto-2.0-2.5B
  • Toto 2.0 Family-and-Friends
  • GIFT-Eval benchmark
  • GitHub Repository

如何引用该模型?

可使用以下bibtex格式进行引用:

@misc{khwaja2026toto20timeseries, title={Toto 2.0: Time Series Forecasting Enters the Scaling Era}, author={Emaad Khwaja and Chris Lettieri and Gerald Woo and Eden Belouadah and Marc Cenac and Guillaume Jarry and Enguerrand Paquin and Xunyi Zhao and Viktoriya Zhukov and Othmane Abou-Amal and Chenghao Liu and Ameet Talwalkar and David Asker}, year={2026}, eprint={2605.20119}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2605.20119}, }

【免费下载链接】Toto-2.0-2.5B-FT项目地址: https://ai.gitcode.com/hf_mirrors/Datadog/Toto-2.0-2.5B-FT

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

← 返回列表