H200 安装驱动并使用sglang启动模型
一、安装kernel-devel、kernel-headers
如果没有互联网环境，可以使用iso文件搭建本地镜像仓库，这两个包的版本一定要和当前系统的内核版本一致
dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) |
二、安装dkms
dnf install -y dkms |
三、安装驱动
rocklinux兼容rhel
可以使用rh
下载后安装
rpm -ivh nvidia-driver-local-repo-rhel9-590.48.01-1.0-1.x86_64.rpm |
安装驱动
nvidia-driver可能会被过滤，导致dnf list | grep nvidia-driver,不显示驱动包，可以直接手动rpm安装
cd /var/nvidia-driver-local-repo-rhel9-590.48.01 |
rpm -ivh nvidia-kmod-common-590.48.01-1.el9.noarch.rpm \ |
kmod-nvidia-latest-dkms-590.48.01-1.el9.x86_64.rpm \ |
nvidia-driver-590.48.01-1.el9.x86_64.rpm \ |
nvidia-driver-libs-590.48.01-1.el9.x86_64.rpm \ |
nvidia-driver-cuda-590.48.01-1.el9.x86_64.rpm \ |
nvidia-driver-cuda-libs-590.48.01-1.el9.x86_64.rpm \ |
libnvidia-ml-590.48.01-1.el9.x86_64.rpm \ |
libnvidia-cfg-590.48.01-1.el9.x86_64.rpm \ |
nvidia-modprobe-590.48.01-1.el9.x86_64.rpm \ |
nvidia-persistenced-590.48.01-1.el9.x86_64.rpm \ |
nvidia-fabricmanager-590.48.01-1.el9.x86_64.rpm \ |
--nodeps --force |
检查驱动是否编译完成
dkms install nvidia/590.48.01 |
执行结果
[root@localhost nvidia-driver-local-repo-rhel9-590.48.01]# dkms install nvidia/590.48.01 |
Module nvidia/590.48.01 already installed on kernel 5.14.0-427.13.1.el9_4.x86_64 (x86_64), skip. You may override by specifying --force. |
[root@localhost nvidia-driver-local-repo-rhel9-590.48.01]# |
加载模块
modprobe nvidia |
modprobe nvidia-uvm |
启动SXM 专属服务用于显卡间通信
systemctl enable --now nvidia-persistenced |
systemctl enable --now nvidia-fabricmanager |
查看显卡状态
nvidia-smi |
执行结果，正常显示显卡信息则成功安装了驱动
[root@h200-new ~]# nvidia-smi |
Thu Apr 16 14:02:07 2026 |
+-----------------------------------------------------------------------------------------+ |
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 | |
+-----------------------------------------+------------------------+----------------------+ |
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | |
| | | MIG M. | |
|=========================================+========================+======================| |
| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 | |
| N/A 37C P0 78W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 | |
| N/A 32C P0 80W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 | |
| N/A 31C P0 76W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 | |
| N/A 35C P0 78W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 | |
| N/A 37C P0 77W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 | |
| N/A 33C P0 79W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 | |
| N/A 36C P0 78W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 | |
| N/A 32C P0 77W / 700W | 0MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
+-----------------------------------------------------------------------------------------+ |
| Processes: | |
| GPU GI CI PID Type Process name GPU Memory | |
| ID ID Usage | |
|=========================================================================================| |
| No running processes found | |
+-----------------------------------------------------------------------------------------+ |
[root@h200-new ~]# |
四、安装docker和libnvidia-container
docker二进制包下载：Index of linux/static/stable/x86_64/
解压压缩包，将二进制文件移动至/usr/local/bin/下
新建service文件内容如下
/usr/lib/systemd/system/docker.service
[Unit] |
Description=Docker Application Container Engine |
Documentation=http://docs.docker.io |
[Service] |
Environment="PATH=/usr/local/bin:/bin:/sbin:/usr/bin:/usr/sbin" |
ExecStart=/usr/local/bin/dockerd --log-level=error $DOCKER_NETWORK_OPTIONS \ |
--data-root=/data/docker/data |
ExecReload=/bin/kill -s HUP $MAINPID |
Restart=on-failure |
RestartSec=5 |
LimitNOFILE=infinity |
LimitNPROC=infinity |
LimitCORE=infinity |
Delegate=yes |
KillMode=process |
[Install] |
WantedBy=multi-user.target |
启动docker
systemctl daemon-reload |
systemctl enable docker --now |
安装libnvidia-container
下载地址：libnvidia-container/stable at gh-pages · NVIDIA/libnvidia-container · GitHub
安装
[root@h200-new containerd-tools]# ls |
libnvidia-container-tools-1.17.4-1.x86_64.rpm nvidia-container-toolkit-1.17.4-1.x86_64.rpm |
libnvidia-container1-1.17.4-1.x86_64.rpm nvidia-container-toolkit-base-1.17.4-1.x86_64.rpm |
[root@h200-new containerd-tools]# rpm -ivh *rpm |
warning: libnvidia-container-tools-1.17.4-1.x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID f796ecb0: NOKEY |
Verifying... ################################# [100%] |
Preparing... ################################# [100%] |
Updating / installing... |
1:nvidia-container-toolkit-base-1.1################################# [ 25%] |
2:libnvidia-container1-1.17.4-1 ################################# [ 50%] |
3:libnvidia-container-tools-1.17.4-################################# [ 75%] |
4:nvidia-container-toolkit-1.17.4-1################################# [100%] |
[root@h200-new containerd-tools]# |
配置生效
nvidia-ctk runtime configure --runtime=docker |
systemctl restart docker |
五、使用sglang 启动模型
模型下载至：/data/llm/glm5.1-fp8
sglang镜像版本：lmsysorg/sglang:v0.5.10
启动sglang
docker run -d \ |
--name sglang-glm5 \ |
--gpus all \ |
--ipc=host \ |
--ulimit memlock=-1 \ |
--ulimit stack=67108864 \ |
-p 30000:30000 \ |
-e SGLANG_ENABLE_SPEC_V2=1 \ |
-e CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ |
-e TORCHINDUCTOR_CACHE_DIR=/data/glmcache5.1 \ |
-v /data/llm/:/data/models \ |
--shm-size=32g \ |
--restart=always \ |
lmsysorg/sglang:v0.5.10 \ |
sglang serve \ |
--model-path /data/models/glm5.1-fp8 \ |
--served-model-name glm-5.1-fp8 \ |
--api-key xxxxxx \ |
--host 0.0.0.0 \ |
--tp 8 \ |
--reasoning-parser glm45 \ |
--tool-call-parser glm47 \ |
--speculative-algorithm EAGLE \ |
--speculative-num-steps 3 \ |
--speculative-eagle-topk 1 \ |
--speculative-num-draft-tokens 4 \ |
--mem-fraction-static 0.9 \ |
--context-length=184320 \ |
--max-running-requests=10 \ |
--max-prefill-tokens=8192 |
使用docker logs -f sglang-glm5查看模型加载进度，等待模型加载完成
查看显卡使用情况
[root@h200-new data]# nvidia-smi |
Thu Apr 16 18:00:27 2026 |
+-----------------------------------------------------------------------------------------+ |
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 | |
+-----------------------------------------+------------------------+----------------------+ |
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | |
| | | MIG M. | |
|=========================================+========================+======================| |
| 0 NVIDIA H200 On | 00000000:19:00.0 Off | 0 | |
| N/A 55C P0 136W / 700W | 141572MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 1 NVIDIA H200 On | 00000000:3B:00.0 Off | 0 | |
| N/A 42C P0 126W / 700W | 141622MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 2 NVIDIA H200 On | 00000000:4C:00.0 Off | 0 | |
| N/A 40C P0 122W / 700W | 141622MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 3 NVIDIA H200 On | 00000000:5D:00.0 Off | 0 | |
| N/A 54C P0 135W / 700W | 141622MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 4 NVIDIA H200 On | 00000000:9B:00.0 Off | 0 | |
| N/A 54C P0 132W / 700W | 141622MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 5 NVIDIA H200 On | 00000000:BB:00.0 Off | 0 | |
| N/A 42C P0 123W / 700W | 141622MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 6 NVIDIA H200 On | 00000000:CB:00.0 Off | 0 | |
| N/A 55C P0 135W / 700W | 141624MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
| 7 NVIDIA H200 On | 00000000:DB:00.0 Off | 0 | |
| N/A 41C P0 123W / 700W | 140658MiB / 143771MiB | 0% Default | |
| | | Disabled | |
+-----------------------------------------+------------------------+----------------------+ |
+-----------------------------------------------------------------------------------------+ |
| Processes: | |
| GPU GI CI PID Type Process name GPU Memory | |
| ID ID Usage | |
|=========================================================================================| |
| 0 N/A N/A 161448 C sglang::scheduler_TP0 14156... | |
| 1 N/A N/A 161449 C sglang::scheduler_TP1 14161... | |
| 2 N/A N/A 161450 C sglang::scheduler_TP2 14161... | |
| 3 N/A N/A 161451 C sglang::scheduler_TP3 14161... | |
| 4 N/A N/A 161452 C sglang::scheduler_TP4 14161... | |
| 5 N/A N/A 161453 C sglang::scheduler_TP5 14161... | |
| 6 N/A N/A 161454 C sglang::scheduler_TP6 14161... | |
| 7 N/A N/A 161455 C sglang::scheduler_TP7 14064... | |
+-----------------------------------------------------------------------------------------+ |
[root@h200-new data]# |
测试
[root@h200-new llm]# curl http://localhost:30000/v1/chat/completions \ |
-H "Content-Type: application/json" \ |
-H "Authorization: Bearer xxxxxxx" \ |
-d '{ |
"model": "glm-5.1-fp8", |
"messages": [ |
{"role": "system", "content": "你是一个人工智能助手。"}, |
{"role": "user", "content": "你好，请确认你的模型版本，并简单介绍下 H100 GPU 的优势。"} |
], |
"temperature": 0.7 |
}' |
{"id":"3dd2d8cbf57546bd926b30e35559dd8d","object":"chat.completion","created":1776325869,"model":"glm-5.1-fp8","choices":[{"index":0,"message":{"role":"assistant","content":"你好！我是一个由 Z.ai 开发的人工智能助手（基于 GLM 大语言模型）。\n\n关于 NVIDIA H100 GPU，它是基于 Hopper 架构的旗舰级数据中心 GPU，专为加速人工智能和高性能计算而设计。它的主要优势包括：\n\n1. **Transformer 引擎**：这是 H100 最大的亮点之一。它专门针对当前大语言模型（LLM）的基础——Transformer 架构进行了优化，能够动态分配 FP8 和 FP16 精度，在保持模型精度的同时，将大模型的训练和推理速度提升至前所未有的水平。\n2. **极高的性能飞跃**：相比上一代 A100，H100 在 AI 训练上最高可提供 9 倍的提升，在 AI 推理上最高可提供 30 倍的提升（特别是在结合 FP8 和 Transformer 引擎时）。\n3. **HBM3 高带宽内存**：H100 采用了更先进的 HBM3 内存，最高提供 80GB 容量和超过 3TB/s 的惊人带宽，极大缓解了大规模 AI 模型的“内存墙”问题。\n4. **第四代 NVLink 与 PCIe 5.0**：NVLink 互联带宽提升至 900GB/s，是 PCIe 5.0 的 7 倍，使得成千上万张 H100 组成的集群能够高效协同工作，构建超大规模计算集群。\n5. **原生 FP8 支持**：H100 是首批原生支持 FP8（8位浮点）数据格式的 GPU 之一，这不仅能将内存占用减半，还能大幅提高吞吐量，对 AI 推理极其有利。\n6. **DPX 指令集**：专门用于加速动态规划算法，在基因组学测序、物流路线优化等科学计算领域，速度比 A100 提升高达 7 倍。\n\n总的来说，H100 是目前大模型时代最重要的算力基础设施，凭借其针对 Transformer 的特化设计和极高的带宽，成为了训练和部署下一代 AI 的首选硬件。","reasoning_content":"1. **分析请求：**\n * 任务 1：确认我的模型版本。\n * 任务 2：简单介绍 H100 GPU 的优势。\n * 语言：中文。\n\n2. **处理任务 1：确认模型版本：**\n * *自我认知：* 我是一个人工智能助手。我的具体底层模型版本通常不作为硬编码字符串公开，但我是由 Z.ai 开发的大语言模型（GLM 系列）。我应该清楚地说明我是一个人工智能助手，并提及我的开发者/模型系列（GLM），而不必捏造特定的版本号（除非我绝对确定，但通常“由 Z.ai 开发的 GLM 大语言模型”是最准确和安全的回答）。\n * *起草：* 你好！我是一个由 Z.ai 训练的大语言模型（基于 GLM 架构）。\n\n3. **处理任务 2：介绍 H100 GPU 的优势：**\n * *主题：* NVIDIA H100 Hopper GPU。\n * *需要涵盖的关键优势：*\n * 架构：Hopper 架构（继 Ampere/A100 之后）。\n * 性能：AI 训练和推理的巨大飞跃。Transformer 引擎（对大语言模型至关重要）。\n * 内存/带宽：HBM3 内存（与 A100 的 HBM2e 相比，带宽大幅提升）。\n * 互连：NVLink 4.0（比第 3 代更快）、PCIe Gen 5。\n * 安全/可靠性：机密计算、原生 FP8 支持。\n * DPX 指令集：用于动态规划。\n * *构建介绍结构：* 使用项目符号以提高可读性。保持简洁但全面。\n * *起草要点：*\n 1. **Hopper 架构与 Transformer 引擎**：专门针对大语言模型（LLM）优化，自动分配 FP8/FP16 精度，大幅提升推理和训练速度。\n 2. **极致的性能提升**：相比上一代 A100，AI 训练速度提升数倍，推理速度最高提升 30 倍。\n 3. **更快的 HBM3 内存**：提供更高的内存带宽（最高可达 3TB/s），解决大规模模型的内存瓶颈。\n 4. **第四代 NVLink 与 PCIe 5.0**：多卡互联带宽翻倍，支持构建更大规模的计算集群。\n 5. **FP8 数据格式支持**：在保持精度的同时，大幅减少内存占用和计算时间。\n 6. **DPX 指令集**：加速动态规划算法，适用于基因组学、物流优化等领域。\n\n4. **审查与润色：**\n * 将两个回答流畅地结合起来。\n * 确保语气乐于助人且专业。\n * *起草时的自我纠正：* 确保不要声称自己是 GPT-4 或 Claude 3，因为那是不正确的。坚持 Z.ai/GLM 的身份。\n\n5. **最终输出生成（中文）：**\n 你好！我是一个由 Z.ai 开发的人工智能助手（基于 GLM 大语言模型）。\n\n 关于 NVIDIA H100 GPU，它是基于 Hopper 架构的旗舰级数据中心 GPU，专为加速 AI 和高性能计算（HPC）而设计。它的主要优势包括：\n\n 1. **Transformer 引擎**：这是 H100 最大的亮点之一。它专门针对当前大语言模型（LLM）的基础——Transformer 架构进行了优化，能够动态分配 FP8 和 FP16 精度，在保持模型精度的同时，将大模型的训练和推理速度提升至前所未有的水平。\n 2. **极高的性能飞跃**：相比上一代 A100，H100 在 AI 训练上最高可提供 9 倍的提升，在 AI 推理上最高可提供 30 倍的提升（特别是在结合 FP8 和 Transformer 引擎时）。\n 3. **HBM3 高带宽内存**：H100 采用了更先进的 HBM3 内存，最高提供 80GB 容量和超过 3TB/s 的惊人带宽，极大缓解了大规模 AI 模型的“内存墙”问题。\n 4. **第四代 NVLink 与 PCIe 5.0**：NVLink 互联带宽提升至 900GB/s，是 PCIe 5.0 的 7 倍，使得成千上万张 H100 组成的集群能够高效协同工作，构建超大规模计算集群。\n 5. **原生 FP8 支持**：H100 是首批原生支持 FP8（8位浮点）数据格式的 GPU 之一，这不仅能将内存占用减半，还能大幅提高吞吐量，对 AI 推理极其有利。\n 6. **DPX 指令集**：专门用于加速动态规划算法，在基因组学测序、物流路线优化等科学计算领域，速度比 A100 提升高达 7 倍。\n\n 总的来说，H100 是目前大模型时代最重要的算力基础设施，凭借其针对 Transformer 的特化设计和极高的带宽，成为了训练和部署下一代 AI 的首选硬件。","tool_calls":null},"logprobs":null,"finish_reason":"stop","matched_stop":154827}],"usage":{"prompt_tokens":29,"total_tokens":1576,"completion_tokens":1547,"prompt_tokens_details":null,"reasoning_tokens":1119},"metadata":{"weight_version":"default"}}[root@h200-new llm]# |
[root@h200-new llm]# |