FlagGems与FlagScale集成教程：构建企业级大模型训练平台

【免费下载链接】FlagGemsFlagGems is an operator library for large language models implemented in the Triton Language.项目地址: https://gitcode.com/gh_mirrors/fl/FlagGems

FlagGems是基于Triton语言实现的大语言模型算子库，而FlagScale是企业级分布式训练框架。将这两者集成可构建高效的企业级大模型训练平台，显著提升训练性能。本教程将详细介绍如何实现两者的无缝集成，帮助新手和普通用户快速搭建专业的大模型训练环境。

FlagGems与FlagScale简介

FlagGems作为核心算子库，提供了大量针对大语言模型优化的高性能算子。这些算子通过Triton语言实现，能够充分发挥硬件性能，为模型训练提供强大的算力支持。

FlagScale则是一款功能全面的分布式训练框架，支持多种大模型训练场景，具备良好的扩展性和稳定性，是构建企业级训练平台的理想选择。

图1：FlagOS生态系统架构，展示了FlagGems和FlagScale在整个生态中的位置

集成准备工作

环境要求

在开始集成之前，请确保您的环境满足以下要求：

• 操作系统：Linux
• Python版本：3.8及以上
• 已安装PyTorch和Triton编译器
• 适当的GPU硬件支持

安装FlagGems

首先，克隆FlagGems仓库并安装：

git clone https://gitcode.com/gh_mirrors/fl/FlagGems cd FlagGems pip install -r requirements/requirements_nvidia.txt

安装FlagScale

克隆FlagScale仓库并按照其官方文档进行安装。确保您安装的FlagScale版本包含FlagGems钩子，这是两者集成的关键。

验证FlagScale中的FlagGems集成

在开始使用前，需要验证FlagScale是否已正确集成FlagGems钩子。检查FlagScale源代码中是否包含类似以下逻辑（通常在flagscale/backends/vllm/vllm/worker/model_runner.py文件中）：

try: import flag_gems USE_FLAGGEMS = os.environ.get("USE_FLAGGEMS", "0") == "1" except ImportError as e: raise ImportError("Failed to import 'flag_gems'. Please install flag_gems or set USE_FLAGGEMS=false to disable it.") from e

如果存在此类代码，则表示FlagScale已准备好与FlagGems集成。

配置与使用集成平台

启用FlagGems

通过环境变量启用FlagGems：

export USE_FLAGGEMS=1

运行基准测试

FlagGems提供了基准测试脚本，可以比较启用和不启用FlagGems时的性能差异。运行以下命令：

# 仅使用FlagScale的基准测试 ./benchmark/models_benchmark/online.sh # 使用FlagScale+FlagGems的基准测试 ./benchmark/models_benchmark/online_with_gems.sh

查看性能提升

运行基准测试后，您可以查看性能对比结果。FlagGems在多种算子上都能提供显著的性能提升，具体数据可参考测试生成的报告。

图2：FlagGems算子性能提升对比，展示了在不同算子上的加速效果

常见问题解决

导入错误

如果遇到"Failed to import 'flag_gems'"错误，请确保已正确安装FlagGems，或设置USE_FLAGGEMS=0禁用它。

性能未提升

如果启用FlagGems后性能没有明显提升，请检查：

1. FlagScale是否正确集成了FlagGems钩子
2. 环境变量USE_FLAGGEMS是否设置为1
3. 是否使用了支持的算子和模型

总结

通过本教程，您已经了解了如何将FlagGems与FlagScale集成，构建高效的企业级大模型训练平台。这种集成能够充分发挥硬件性能，显著提升训练效率，为大模型开发提供强大支持。

随着FlagGems和FlagScale的不断更新，集成功能将更加完善。建议定期关注项目更新，以获取最新的性能优化和功能增强。

官方文档：docs/content/zh-cn/getting-started/installation/

【免费下载链接】FlagGemsFlagGems is an operator library for large language models implemented in the Triton Language.项目地址: https://gitcode.com/gh_mirrors/fl/FlagGems