FastGPT | 19 - 文件导入与数据源接入

📅 2026/7/16 9:04:31 👁️ 阅读次数 📝 编程学习
FastGPT | 19 - 文件导入与数据源接入

开篇问题

上一篇我们拆了知识库的领域模型:

Dataset -> Collection -> Training -> Data

这一篇继续往前追一层:

Collection 是怎么创建出来的? 不同数据源又是怎么统一进入知识库处理链路的?

从产品角度看,FastGPT 支持多种导入方式:

  1. 本地文件。
  2. 网页链接。
  3. 手动文本。
  4. 图片集合。
  5. API 数据集。
  6. 飞书、语雀、钉钉等第三方知识库。
  7. 备份 CSV 和模板 CSV。

这些入口看起来差异很大。

但从后端模型看,它们最终都会收敛到同一个目标:

创建 DatasetCollection,并为后续解析、切块、训练准备来源信息。

这一篇重点讲:

数据源如何进入 FastGPT,如何保存到对象存储,如何变成 Collection,以及导入失败时如何恢复。

文档解析、切块算法和训练 worke