Prefect：Python 数据管道编排神器，轻松构建、监控与部署工作流，每月处理超 2 亿数据任务！

Prefect 是用于在 Python 中构建数据管道的工作流编排框架，能将脚本轻松升级为生产级工作流。借助它可构建有弹性、动态的数据管道，数据团队编写几行代码，就能利用调度、缓存等功能自动化数据处理流程。工作流活动会被跟踪，可通过自托管服务器实例或 Prefect Cloud 仪表盘监控。

提示

Prefect 流可处理重试、依赖关系和复杂分支逻辑。查看文档或参考示例了解更多！

快速开始

Prefect 需要 Python 3.10 及以上版本。安装最新版本可运行以下命令之一：
- `pip install -U prefect`
- `uv add prefect`
创建并运行 Python 文件，用 Prefect 的流和任务装饰器编排和监控工作流。以下是获取 GitHub 仓库星标数量的示例：
from prefect import flow, task
import httpx

@task(log_prints=True)
def get_stars(repo: str):
url = f"https://api.github.com/repos/{repo}"
count = httpx.get(url).json()["stargazers_count"]
print(f"{repo} has {count} stars!")

@flow(name="GitHub Stars")
def github_stars(repos: list[str]):
for repo in repos:
get_stars(repo)

# 运行流！
if __name__ == "__main__":
github_stars(["PrefectHQ/prefect"])
启动 Prefect 服务器，在 `http://localhost:4200` 打开 UI 查看结果：
prefect server start
若要按计划运行工作流，可将其转换为部署，修改脚本最后一行设置每分钟运行一次：
if __name__ == "__main__":
github_stars.serve(
name="first-deployment",
cron="* * * * *",
parameters={"repos": ["PrefectHQ/prefect"]}
)
现在有本地进程查找已调度部署！还可通过 UI 或 CLI 手动运行工作流，甚至根据事件触发部署。

提示

接下来可查看文档了解更多内容：
- 将流部署到生产环境
- 添加错误处理和重试机制
- 与现有工具集成
- 设置团队协作功能

Prefect Cloud

Prefect Cloud 为现代数据企业提供工作流编排服务，每月自动化处理超 2 亿个数据任务，助力各类组织提高工程生产力、减少管道错误、降低数据工作流计算成本。点击此处了解更多或注册试用。

prefect-client

若主要与 Prefect Cloud 或远程 Prefect 服务器通信，可试试 `prefect-client`，它是访问 Prefect SDK 客户端功能的轻量级选择，适合临时执行环境。

连接与贡献

加入超 25,000 名从业者的活跃社区，用 Prefect 解决数据难题。Prefect 社区基于协作、技术创新和持续改进。

社区资源

- 🌐探索文档：全面的指南和 API 参考
- 💬加入 Slack 社区：与数千名从业者交流
- 🤝为 Prefect 做贡献：共同塑造项目的未来
- 🔌支持或创建新的 Prefect 集成：扩展 Prefect 的功能
- 📋关注开发日志：Prefect 的开源开发博客

保持关注

- 📥订阅我们的时事通讯：获取最新的 Prefect 新闻和更新
- 📣X 和 Bluesky：最新动态和公告
- 📺YouTube：视频教程和网络研讨会
- 📱LinkedIn：专业人脉和公司新闻

你的贡献、问题和想法让 Prefect 日益完善。无论报告漏洞、提出功能建议还是改进文档，反馈对 Prefect 社区都至关重要。