从零到一：在CentOS服务器上为Tesla K80双卡配置CUDA深度学习环境（实测记录）

当你面对一台崭新的CentOS服务器和两块Tesla K80计算卡时，如何快速搭建一个稳定的深度学习环境？本文将带你完整走一遍这个流程，从驱动安装到环境验证，分享我在实际部署中积累的经验和踩过的坑。

Tesla K80作为一款经典的计算加速卡，在深度学习训练和科学计算中仍有广泛应用。但它的双GPU设计和较老的架构特性，在驱动安装和环境配置上有一些需要特别注意的地方。下面我们就从最基础的准备工作开始。

1. 环境准备与前置检查

在开始安装之前，有几个关键点需要确认，这能避免后续90%的兼容性问题。

首先确认系统版本和内核信息：

cat /etc/redhat-release # 确认是CentOS 7.8 uname -r # 记录内核版本，如3.10.0-1127.el7.x86_64

对于Tesla K80双卡，需要检查PCIe连接状态：

lspci | grep -i nvidia

正常应该能看到两个NVIDIA设备，类似：

04:00.0 3D controller: NVIDIA Corporation GK210GL [Tesla K80] (rev a1) 83:00.0 3D controller: NVIDIA Corporation GK210GL [Tesla K80] (rev a1)

关键依赖安装：

yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r) gcc make

这里特别注意内核版本必须完全匹配，否则驱动编译会失败。可以通过以下命令验证：

ls -l /usr/src/kernels/$(uname -r) rpm -qa | grep kernel-devel

2. NVIDIA驱动安装实战

2.1 禁用nouveau驱动

这是最常出问题的环节，必须彻底禁用系统自带的nouveau驱动：

1. 创建配置文件：

echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf

2. 重建initramfs：

mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak dracut /boot/initramfs-$(uname -r).img $(uname -r)

3. 重启进入命令行模式：

systemctl set-default multi-user.target reboot

重启后验证nouveau是否已禁用：

lsmod | grep nouveau

如果没有任何输出，说明禁用成功。

2.2 驱动安装与验证

从NVIDIA官网下载适合Tesla K80的驱动（建议版本450.80.02+）：

wget http://us.download.nvidia.com/tesla/450.80.02/NVIDIA-Linux-x86_64-450.80.02.run chmod +x NVIDIA-Linux-x86_64-450.80.02.run

安装时指定内核源码路径：

./NVIDIA-Linux-x86_64-450.80.02.run --kernel-source-path=/usr/src/kernels/$(uname -r)/

安装完成后，最重要的验证命令：

nvidia-smi

正常输出应显示两块K80的信息，类似：

+-----------------------------------------------------------------------------+ | NVIDIA-SMI 450.80.02 Driver Version: 450.80.02 CUDA Version: 11.0 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla K80 Off | 00000000:04:00.0 Off | 0 | | N/A 37C P0 57W / 149W | 0MiB / 11441MiB | 0% Default | +-------------------------------+----------------------+----------------------+ | 1 Tesla K80 Off | 00000000:83:00.0 Off | 0 | | N/A 32C P0 70W / 149W | 0MiB / 11441MiB | 0% Default | +-------------------------------+----------------------+----------------------+

3. CUDA Toolkit与cuDNN安装

3.1 通过官方仓库安装CUDA

推荐使用NVIDIA官方仓库安装，确保版本兼容性：

distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g') curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo yum install -y cuda-11-0

安装完成后配置环境变量：

echo 'export PATH=/usr/local/cuda-11.0/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc

验证CUDA编译器：

nvcc --version

3.2 cuDNN安装

下载对应CUDA 11.0的cuDNN包（需要NVIDIA开发者账号），然后安装：

tar -xzvf cudnn-11.0-linux-x64-v8.0.5.39.tgz cp cuda/include/cudnn*.h /usr/local/cuda/include/ cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

4. 深度学习框架环境配置

4.1 Conda环境创建

建议为每个项目创建独立的conda环境：

conda create -n dl_env python=3.8 -y conda activate dl_env

4.2 PyTorch安装与测试

安装支持CUDA 11.0的PyTorch：

conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch

测试GPU可用性：

import torch print(torch.cuda.is_available()) # 应返回True print(torch.cuda.device_count()) # 应返回2

4.3 TensorFlow安装

对于Tesla K80，建议使用TF 2.4+：

pip install tensorflow-gpu==2.4.0

测试脚本：

import tensorflow as tf print(tf.test.is_gpu_available()) # 应返回True print(tf.config.list_physical_devices('GPU')) # 应列出两个GPU

5. 多GPU管理与优化技巧

5.1 温度与功耗监控

Tesla K80的主动散热需要特别关注：

watch -n 1 nvidia-smi

可以实时监控GPU状态，重点关注温度和功耗指标。

5.2 持久模式设置

启用持久模式可以降低GPU唤醒延迟：

nvidia-smi -pm 1

5.3 多进程分配策略

在Python中合理分配GPU资源：

import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" # 同时使用两块卡 # 或者按需分配 import torch torch.cuda.set_device(0) # 主卡

5.4 常见问题排查

驱动版本不匹配：

modinfo nvidia | grep version

检查与nvidia-smi显示的驱动版本是否一致。

CUDA out of memory：

• 调整batch size
• 使用torch.cuda.empty_cache()
• 考虑使用梯度累积

双卡负载不均：

• 检查数据并行实现
• 验证PCIe带宽：nvidia-smi topo -m