GPU Direct DMA 在Jetson NX 与 X86平台的测试

测试了jetson NX 16GB 与 H100的性能，后续会继续补充其它平台的测试

1. 技术原理

1.1 什么是 GPU Direct RDMA

GPU Direct RDMA（Remote Direct Memory Access）是 NVIDIA 提供的一种高性能数据传输技术，允许第三方 PCIe 设备（如 FPGA、网卡、视频采集卡）绕过 CPU 和系统内存，通过 PCIe 总线直接与 GPU 显存进行数据交换。

传统数据路径（FPGA → GPU）：

FPGA ──DMA──→ CPU内存 ──cudaMemcpy──→ GPU显存 ↑ ↑ PCIe传输 内存总线拷贝 (第1次) (第2次)

GPU Direct RDMA 路径（FPGA → GPU）：

FPGA ──PCIe DMA──→ GPU显存 ↑ 仅一次PCIe传输 零CPU拷贝

1.2 核心优势

1.3 适配设备与平台

1.4 工作流程

1. GPU 缓冲区分配 (cudaHostAlloc / cudaMalloc) 2. Pin 操作: 将 GPU 虚拟地址映射为物理页面，锁定在内存中 3. DMA 传输: FPGA 直接读写 GPU 物理页面（通过 PCIe BAR） 4. Unpin 操作: 释放页面锁定

关键点：Pin 操作仅需执行一次，后续可无限次复用同一 Handle 进行 DMA 传输，避免了传统方式中每次传输都需要的地址转换开销。

2. 测试环境

2.1 硬件平台

Tegra 平台 (Jetson Orin)

Desktop 平台 (x86 + H100)

2.2 软件环境

Tegra 平台

Desktop 平台

2.3 驱动架构

用户空间: HelloFPGACore.so (TransferMode API) │ ├─ CPU模式: open(/dev/HelloFPGA0_c2h_*) → read/write │ └─ GPU Direct模式: open → ioctl(XDMA_IOC_GPU_PIN/XFER/UNPIN) │ 内核空间: HelloFPGA.ko (XDMA + xdma_gpu_direct + xdma_gpu_tegra) │ 硬件: FPGA XDMA IP ←──PCIe──→ GPU BAR (物理地址直通)

3. 测试方法

3.1 测试工具

测试程序:gpu_direct_api_test.cu

支持两种运行模式：

• 快速功能测试: 验证 API 正确性 + 性能对比（约 2 分钟）
• 长稳态压力测试: 12 小时持续运行，每 10 分钟记录数据（--long参数）

3.2 测试对比方案

3.3 测试项目

3.4 关键参数

• 传输块大小: 4MB（长测试） / 4KB~8MB（快速测试）
• FPGA 地址步进: 64MB（遍历 0~2GB，32 个测试点/轮）
• 采样频率: 每 10 分钟（长测试）
• 每采样点迭代: 5 次取平均
• 功耗采集: INA3221 传感器 (VDD_IN 通道)

4. 测试结果

4.1 多尺寸性能对比（快速测试）

时延对比 (μs，越小越好)

表格格式: Read / Write

带宽对比 (GB/s，越大越好)

GPU Direct 峰值带宽达2.84 GB/s，逼近 PCIe Gen3 x4 理论极限

4.2 TransferMode 兼容模式性能

用户代码零修改（仍调用HelloFPGA_DMA_MM_*），仅通过 2 行配置切换模式：

格式: Write / Read

4.3 多缓冲区 vs 单缓冲区对比

模拟实际图像采集场景：4 个 GPU 缓冲区轮转 vs 单缓冲区重复读写（100 次迭代，1MB/帧）

结论：多缓冲区地址查表匹配开销可忽略不计，不影响性能。

4.4 12 小时长稳态测试

• 测试时长: 12.00 小时
• 采样点数: 72 次（每 10 分钟）
• 传输块大小: 4MB
• 地址遍历: 0 ~ 2GB（完成 2 轮完整遍历）

性能统计

加速比

性能稳定性

时间趋势（无退化）

功耗统计

地址空间一致性

FPGA 全2GB 地址范围（0MB ~ 1984MB，64MB 步进）的 GPU Direct 传输时延无显著差异（标准差 < 15μs），表明 FPGA 端 DDR 控制器对全地址空间性能一致。

4.5 x86 Desktop 平台 (H100) 测试结果

测试日期: 2025-07-05
平台: Intel Xeon 8462Y+ / NVIDIA H100 PCIe / FPGA PCIe Gen3 x8
测试结果:15 项全部通过

4.5.1 API 功能验证

4.5.2 多尺寸性能对比

时延对比 (μs，越小越好)

带宽对比 (GB/s，越大越好)

GPU Direct Handle 峰值带宽达7.37 GB/s，逼近 PCIe Gen3 x8 理论极限 (~7.88 GB/s)

4.5.3 TransferMode 兼容模式性能 (Desktop)

用户代码零修改（仍调用HelloFPGA_DMA_MM_*），仅通过配置切换模式：

Desktop 平台加速比 ~1.1-1.15x，因 PCIe Gen3 x8 带宽充裕，CPU DMA 本身已接近峰值

4.5.4 多缓冲区 vs 单缓冲区 (Desktop)

4 个 GPU 缓冲区轮转 vs 单缓冲区重复读写（100 次迭代，1MB/帧）

结论：多缓冲区地址查表开销可忽略不计，帧率达 6600+ fps。

4.5.5 12 小时长稳态测试 (Desktop H100)

测试日期: 2026-07-05 12:05 ~ 23:55
测试时长: 12.00 小时
采样点数: 72 次（每 10 分钟）
传输块大小: 4MB
地址遍历: 0 ~ 2GB（完成 2 轮完整遍历）
原始数据:gpu_direct_long_test_20260705_120520.csv

性能统计

加速比

性能稳定性

注：出现 2 个异常点（640min Read=711.2μs, 660min Write=736.8μs），其余 70 个采样点均在 ±5% 范围内，整体稳定性良好。

时间趋势（无退化）

功耗统计

地址空间一致性

FPGA 全 2GB 地址范围（0MB ~ 1984MB，64MB 步进）的 GPU Direct 传输时延无显著差异（标准差 < 8μs），表明 FPGA 端 DDR 控制器对全地址空间性能一致。

4.5.6 平台对比汇总 (Tegra vs Desktop)

性能提升主要来源于 PCIe 链路升级 (Gen3 x4 → Gen3 x8，理论带宽 2x)

5. 结论

5.1 性能结论

1. GPU Direct 相比传统全路径 (FPGA→CPU→GPU) 加速 ~1.5x～3.2x

   • Tegra: Read 加速 1.97x，Write 加速 2.49x（4MB 块，12h 平均）
   • Desktop: Read 加速 2.78x，Write 加速 3.17x（4MB 块，12h 平均）
   • 消除 cudaMemcpy 中间拷贝是主要收益来源

2. GPU Direct 相比 CPU DMA 仅加速 ~1.1x～1.6x

   • Tegra: ~1.5x（PCIe Gen3 x4 带宽受限，GPU Direct 优势明显）
   • Desktop: Read 1.58x / Write 1.40x（PCIe Gen3 x8 带宽充裕，GPU Direct 仍有明显优势）

3. 峰值带宽

   • Tegra (Gen2 x4):2.84 GB/s，接近理论极限
   • Desktop (Gen3 x8):7.37 GB/s，逼近理论极限 (~7.88 GB/s，达 93.5%)
   • Desktop 长稳态 Read 平均带宽:6.98 GB/s，Write 平均带宽:6.76 GB/s

4. Desktop 平台帧率达 6600+ fps(1MB/帧)，适合高帧率图像采集场景

5. Desktop 12 小时长稳态：GPU Direct Read 平均 601.0 μs，Write 平均 620.4 μs，性能无退化

5.2 稳定性结论

1. Tegra 12 小时无性能退化：前 4h 与后 4h 性能差异 < 0.3%
2. Desktop 12 小时无性能退化：0~4h / 4~8h / 8~12h 三时段 Read/Write 时延波动 < 0.4%
3. 无内存泄漏：Pin/Unpin 生命周期管理正确
4. 无热节流：Tegra 功耗稳定在 18.2~18.9W，无过热降频
5. 2GB 全地址空间一致：无 FPGA 端 DDR 热点（两平台均验证）

5.3 兼容性结论

1. 完全向后兼容：老代码无需任何修改即可继续使用
2. 最小侵入接入：仅需新增 2 行代码（SetGPUBuffer + SetTransferMode）
3. 多缓冲区无开销：4 帧轮转性能与单帧一致，适合图像流应用
4. 跨平台透明：同一套测试代码同时兼容 Tegra (cudaHostAlloc) 和 Desktop (cudaMalloc)，通过GetStatus.platform自动适配
5. 双平台验证通过：Tegra (Orin) 和 Desktop (H100) 均 15/15 测试全通过

5.4 适用场景建议

5.5 建议与限制

• 最小传输块建议 ≥ 64KB：小数据包中 DMA 建立开销占比大，GPU Direct 优势有限
• Pin 操作仅需一次：应在初始化阶段完成，避免传输循环中频繁 Pin/Unpin
• 4K 对齐要求：GPU 缓冲地址和大小必须 4096 字节对齐
• 需 root 权限：GPU Direct ioctl 需要特权访问设备文件

6. 与 NVIDIA jetson-rdma-picoevb 开源方案对比

NVIDIA/jetson-rdma-picoevb 是 NVIDIA 官方提供的最小化 GPU Direct RDMA 硬件演示项目，使用 PicoEVB (Xilinx Artix-7) FPGA 板卡在 Jetson AGX Xavier 上验证 GPUDirect RDMA 功能。下面从多个维度与 HelloFPGA GPU Direct 方案进行对比。

6.1 架构对比

6.2 内核层实现对比

6.3 用户空间接口对比

picoevb 方案 (裸 ioctl)：

// 1. 分配 CUDA 内存cudaHostAlloc(&buf,size,cudaHostAllocDefault);// Tegra 必须用 cudaHostAlloccuPointerSetAttribute(&flag,CU_POINTER_ATTRIBUTE_SYNC_MEMOPS,(CUdeviceptr)buf);// 2. Pinioctl(fd,PICOEVB_IOC_PIN_CUDA,&pin_params);// 3. DMA 传输ioctl(fd,PICOEVB_IOC_DMA_C2H,&xfer_params);// 每次传输都需要单独 ioctl// 4. Unpinioctl(fd,PICOEVB_IOC_UNPIN_CUDA,&unpin_params);

HelloFPGA 方案 (封装 API + TransferMode 兼容)：

// 方式一：显式 GPU Direct APIHelloFPGA_GPUDirect_Pin(hDev,gpuAddr,size,&handle);HelloFPGA_GPUDirect_ReadC2H(hDev,ch,handle,ep_addr,size,timeout);HelloFPGA_GPUDirect_Unpin(hDev,handle);// 方式二：TransferMode 兼容（零修改老代码）HelloFPGA_SetGPUBuffer(hDev,gpuAddr,size);// Pin 一次HelloFPGA_SetTransferMode(hDev,HELLOFPGA_XFER_MODE_GPU_PINNED);HelloFPGA_DMA_MM_ReadC2H(hDev,ch,buf,offset,len,&actual);// 内部自动路由HelloFPGA_ReleaseGPUBuffer(hDev);// 清理

6.4 传输性能机制对比

6.5 关键差异总结

6.6 技术路线差异分析

picoevb 的设计哲学：最小化验证 GPU Direct RDMA 的可行性。FPGA 只有一块 64KB BRAM，内核模块直接操作 BAR 空间做 PIO 读写，传输逻辑由应用层驱动。适合学习和原型验证。

HelloFPGA 的设计哲学：生产级高性能框架。利用 Xilinx XDMA IP 提供的硬件 SG-DMA 引擎，在驱动层完成地址翻译和 DMA 调度，对用户层暴露高层 API，并通过 TransferMode 机制实现零侵入式升级。适合实际产品部署。

核心技术差异：

1. DMA 引擎层面：picoevb 使用 FPGA 自定义的简单引擎（BAR 读写），受限于 BRAM 大小；HelloFPGA 使用 Xilinx XDMA IP 核的硬件 SG-DMA，可一次发起 MB 级传输。

2. Pin 管理策略：picoevb 每次操作都是独立的 Pin→Transfer→Unpin 流程；HelloFPGA 支持 “Pin Once, Use Many” 模式，Pin 操作在初始化阶段完成一次，后续传输复用 Handle，消除了 Pin/Unpin 开销。

3. 兼容层设计：picoevb 无兼容层概念，应用需要直接感知 RDMA；HelloFPGA 通过 TransferMode 路由，让已有的DMA_MM_Read/Write接口在设置模式后自动切换底层路径，实现了零代码改造升级。

4. 内存分配差异：picoevb 在 Tegra 平台强制使用cudaHostAlloc()（因为 Tegra 版nvidia_p2p_get_pages不支持cudaMalloc的地址）；HelloFPGA 通过 xdma_gpu_tegra 适配层统一处理，对用户透明。