nos：革命性Kubernetes GPU资源优化工具，实时动态分区与弹性配额提升利用率高达300%

【免费下载链接】nosModule to Automatically maximize the utilization of GPU resources in a Kubernetes cluster through real-time dynamic partitioning and elastic quotas - Effortless optimization at its finest!项目地址: https://gitcode.com/gh_mirrors/no/nos

nos是一款开源的Kubernetes模块，专为优化AI工作负载而设计，通过实时动态分区和弹性配额技术，显著提升GPU利用率、降低基础设施成本并改善工作负载性能。作为Kubernetes GPU资源管理的创新解决方案，nos让GPU资源分配更智能、更高效。

核心功能：两大突破性技术

实时动态GPU分区：让每一寸GPU资源都被充分利用 🚀

nos的动态GPU分区功能允许Pod请求GPU的部分资源，系统会根据集群中待处理和运行中的Pod实时自动进行GPU分区。这意味着Pod只需请求严格必要的资源，从而确保GPU始终处于完全利用状态。该功能通过internal/partitioning/模块实现，支持MIG和MPS两种主流分区模式，满足不同场景下的精细化资源分配需求。

弹性资源配额管理：打破资源壁垒，提升集群整体吞吐量 📈

与标准Kubernetes资源配额仅能定义每个命名空间的最大资源分配限制不同，nos的弹性配额允许定义两种不同的限制：最小保障资源和最大限制资源。通过config/operator/crd/bases/nos.nebuly.com_elasticquotas.yaml定义的弹性配额资源，命名空间可以相互借用未使用的预留资源配额，大幅提高集群中运行的Pod数量。

快速上手：5分钟部署，立即提升GPU利用率

前置条件

• Kubernetes v1.23或更高版本
• 已启用GPU支持
• 可选组件：Nebuly k8s-device-plugin（如需启用MPS分区）
• 可选组件：cert-manager（推荐安装）

安装步骤

推荐使用Helm 3安装nos，所有可用配置值可在Chart文档docs/en/docs/helm-charts/nos中找到：

helm install oci://ghcr.io/nebuly-ai/helm-charts/nos \ --version 0.1.2 \ --namespace nebuly-nos \ --generate-name \ --create-namespace

或者，您也可以通过克隆仓库并运行make deploy使用Kustomize进行部署：

git clone https://gitcode.com/gh_mirrors/no/nos cd nos make deploy

实际应用：显著提升GPU资源利用率

nos通过智能调度和动态资源分配，解决了传统Kubernetes集群中GPU资源利用率低下的问题。无论是小型AI实验室还是大型企业级集群，nos都能根据实际工作负载自动调整GPU分区和资源配额，确保资源分配恰到好处。

通过结合动态GPU分区和弹性资源配额两大核心功能，nos能够将GPU利用率提升高达300%，同时降低基础设施成本并改善工作负载性能。这使得AI团队能够在有限的资源下运行更多实验，加速模型训练和推理过程。

深入了解：完整文档与开发指南

要了解更多关于nos的详细信息，请查阅官方文档：

• 动态GPU分区详解
• 弹性资源配额使用指南
• 开发贡献指南

nos作为开源项目，欢迎社区贡献和反馈。如果您喜欢这个项目，请给它一个星标✨支持我们的开发工作！

【免费下载链接】nosModule to Automatically maximize the utilization of GPU resources in a Kubernetes cluster through real-time dynamic partitioning and elastic quotas - Effortless optimization at its finest!项目地址: https://gitcode.com/gh_mirrors/no/nos