训练篇：NCCL（三）——性能调优：NVLink vs. PCIe vs. InfiniBand

理解GPU互联技术，才能设计出最优的分布式训练方案

写在前面

在之前的NCCL两节中，我们学习了Ring AllReduce算法和NCCL的基础用法。但有一个关键问题我们还没深入讨论：GPU之间到底是怎么连起来的？

不同的互联技术，带宽和延迟差异巨大：

• NVLink：节点内GPU直连，速度最快（600GB/s+）
• PCIe：通用总线，速度较慢（32-128GB/s）
• InfiniBand：跨节点网络，速度中等（100-400Gb/s）

理解这些互联技术的特点，是设计高效分布式训练方案的基础。今天，我们将深入：

• 三种互联技术的带宽、延迟对比
• NCCL如何自动感知拓扑并选择最优路径
• 如何通过环境变量优化跨节点通信
• 实际案例：多卡训练中的通信瓶颈分析

一、GPU互联技术全景图

1.1 三种互联技术对比