H200 企业级选型指南：显存测算、多卡互联、整机瓶颈与 PoC 验证
H200 的选型价值主要来自 141GB HBM3e、4.8TB/s 显存带宽和平台互联能力，但这些规格只有在显存、带宽或多卡通信成为真实瓶颈时才有意义。本文给出显存估算模型、70B BF16 边界、多卡误区、系统层检查项和 PoC 验收方法。
先固定硬件形态与规格口径
形态 | 单卡显存 | 显存带宽 | 部署判断重点 |
H200 SXM | 141GB HBM3e | 4.8TB/s | 面向 HGX 等高密度平台；核对 GPU 拓扑、整机功耗、散热与机房条件。 |
H200 NVL | 141GB HBM3e | 4.8TB/s | 双槽 PCIe；核对 2/4 卡互联设计、PCIe 通道、电源与风道。 |
SXM 与 NVL 的单卡显存和带宽相同，但整机平台、最大可配置 TDP、互联方式和机房条件不同，BOM 中不能只写“H200”而不写形态。
推理显存估算：权重只是第一项
M_total ≈ M_weights + M_KV + M_runtime + M_reserve
总显存至少包含模型权重、KV Cache、框架运行时/工作区和安全余量。
M_weights ≈ N_params × bytes_per_param
BF16/FP16 通常按约 2 bytes/parameter 做理论估算；量化模型还要考虑 scale、zero-point、打包和框架开销。
M_KV ≈ 2 × L × H_kv × D_head × T_active × B × bytes_per_element
2 对应 K 与 V；L 为层数，H_kv 为 KV 头数，D_head 为每头维度，T_active 为活跃 Token 数，B 为同时活跃序列数。GQA/MQA、张量并行、Paged KV Cache、块分配与框架实现会改变实际占用。
70B BF16 权重理论体量约 140GB，而单张 H200 的 141GB 还要容纳 KV Cache、工作区和余量；因此不能从参数量直接推出“单卡可稳定上线”。
多卡边界：总显存不是透明统一显存
2 × 141GB 表示 282GB 物理显存合计。NVLink 可以提高卡间通信效率，但不会自动把两张卡变成一张 282GB GPU。模型仍需由 TensorRT-LLM、vLLM、PyTorch 等软件栈通过张量并行、流水线并行或其他切分机制使用多卡资源。
- 框架支持：确认模型结构、量化方式和推理后端是否支持目标并行策略。
- 拓扑与通信：确认卡间连接、NCCL 路径、NUMA/PCIe 拓扑和跨节点网络。
- 效率损失：把通信、调度、显存碎片和安全余量纳入容量与吞吐测试。
同一张 GPU，服务器为什么会表现不同
系统层 | 检查指标 | 常见问题 |
GPU 与互联 | 容量、带宽、拓扑、并行效率 | 把多卡总显存当成单卡使用 |
CPU / 内存 | 预处理、解码、数据准备、缓存 | GPU 强但 CPU/内存喂不满 |
NVMe | 加载速度、持续读取、IOPS | 只看容量，不看访问模式 |
网络 | 多节点通信、远程存储、服务访问 | 计算可扩展，网络未预留 |
软件栈 | 量化、批处理、并行、算子优化 | 把厂商基准当作开箱即得 |
电源散热 | 持续频率、稳定性、风道与维护 | 只看额定功率，不看机柜条件 |
选型测试必须统一口径
不同方案只有在同一工作负载下才可比较。至少固定以下条件：
- 模型侧：模型与版本、精度/量化、推理框架、并行策略。
- 负载侧：常用与峰值上下文、输入/输出长度、批量、并发分布。
- 平台侧：服务器型号、GPU 拓扑、CPU/内存、网络、功耗设置和软件版本。
- 指标侧：显存峰值、TTFT、持续生成速度、总吞吐、P95/P99、GPU 利用率、功耗与失败率。
什么时候其实不用 H200
- PoC 或需求定义阶段：模型、流量和上线方式尚未固定，应先得到工作负载画像。
- 中小或量化模型已满足 SLA：不要为未发生的上下文和并发提前购买长期闲置容量。
- RAG / Agent 瓶颈在非生成环节：先优化检索、重排、向量库、工具调用和流程编排。
- 利用率低或平台未就绪：优先比较租用、共享资源池、分阶段采购和基础设施改造成本。
三阶段 PoC 与生产验收
- 工作负载画像：固定模型、精度、上下文、输入/输出长度和并发，记录显存、延迟、吞吐与失败情况。
- 试运行与容量校准：接入代表性流量，观察 P95/P99、稳定性、重启恢复、显存碎片、功耗和排队。
- 生产部署与扩展：补齐监控、告警、配额、模型版本、权限、容灾和扩容机制，并据此确认卡数与安全余量。
常见错误
- 用权重体量代替总显存：忽略 KV Cache、运行时、碎片与预留。
- 用单一 tokens/s 做结论：忽略 TTFT、尾延迟、并发、失败率与功耗。
- 跨模型引用基准：模型、精度、输入输出、批量和框架不同，结果不可直接横比。
- 只比较单卡价格：没有把卡数、整机复杂度、电力散热、软件与三年 TCO 纳入。