dpu-utilities架构设计：深入理解DPU工具集的模块化设计思想

【免费下载链接】dpu-utilitiesdpu-utilities is DPU customized software utility based on openEuler项目地址: https://gitcode.com/openeuler/dpu-utilities

前往项目官网免费下载：https://ar.openeuler.org/ar/

在当今数据中心和云计算环境中，随着摩尔定律的极限逐渐显现，通用CPU计算能力的增长放缓，而网络I/O速度和性能却持续提升，两者之间的差距日益扩大。这种差距凸显了当前通用处理器无法满足网络、磁盘等I/O处理需求的问题。传统数据中心中，通用CPU资源的很大一部分被I/O和管理任务消耗，这种现象被称为"数据中心税"。dpu-utilities正是为了解决这一问题而诞生的DPU定制化软件工具集，它基于openEuler操作系统构建，为DPU场景提供了完整的软件解决方案。

📊 DPU-utilities核心架构概述

dpu-utilities采用高度模块化的设计思想，主要包含三大核心模块：QTFS共享文件系统、DPU-OS裁剪工具集和容器管理面无感卸载功能。这种模块化设计使得每个组件都能独立演进，同时又能协同工作，为DPU硬件提供完整的软件栈支持。

图1：QTFS共享文件系统架构图展示了客户端-服务器模式的文件系统设计

🔧 QTFS共享文件系统模块

QTFS是dpu-utilities的核心组件之一，它是一个共享文件系统项目，可以在主机-DPU硬件架构或两台主机上部署。QTFS采用客户端-服务器工作模式，允许客户端以访问本地文件的方式访问服务器上的指定文件系统。

QTFS模块化设计特点

1. 分层架构设计：QTFS采用清晰的分层架构，包括内核模块层、通用模块层和工具层

2. 核心模块分离：

   • qtfs/：客户端内核模块代码
   • qtfs_server/：服务器内核模块代码
   • qtfs_common/：客户端和服务器共用的通用模块
   • qtinfo/：诊断工具，用于检查文件系统状态和更改日志级别

3. 功能模块化：

   • 挂载点传播模块
   • 特殊文件系统共享模块（proc、sys、cgroup）
   • 远程文件读写模块
   • 特殊文件定制处理模块
   • 远程FIFO、Unix sockets和epoll支持模块

QTFS技术优势

QTFS通过底层主机-DPU间基于PCIe协议的通信，性能超越传统网络通信。作为内核模块开发，避免了对内核的侵入性修改，保持了系统的稳定性和兼容性。

🖥️ DPU-OS裁剪工具模块

DPU-OS是dpu-utilities的另一个核心模块，它基于openEuler生态系统构建轻量化且性能极致的DPU操作系统。DPU-OS采用五层架构设计，确保系统既轻量又高性能。

图2：DPU-OS五层架构设计，从内核层到系统服务层的完整堆栈

DPU-OS五层架构设计

1. 内核层：定制内核配置，移除非必要功能和模块，创建轻量级内核。启用特定内核功能以提供高性能DPU能力

2. 驱动层：修剪和定制openEuler原生驱动，选择最小必需集合。集成DPU厂商特定驱动，原生支持特定DPU硬件产品

3. 系统配置层：通过sysctl和proc配置优化系统设置，确保DPU相关服务的峰值性能

4. 外围包层：定制和修剪openEuler外围包，选择最小集合。提供一套DPU相关的定制工具

5. 系统服务层：简化原生系统服务启动项，消除不必要的服务，最小化运行时开销

裁剪工具设计思想

DPU-OS裁剪工具位于dpuos/image_tailor_cfg/目录下，支持多种架构配置。工具设计遵循以下原则：

• 最小化原则：只保留DPU运行所需的最小组件
• 可配置性：提供灵活的配置文件，支持不同DPU硬件的定制需求
• 性能优先：所有裁剪决策都以提升DPU性能为目标

🐳 容器管理面无感卸载模块

容器管理面无感卸载是dpu-utilities的重要应用场景，该特性通过操作系统提供的统一抽象层，屏蔽容器管理面跨主机资源访问的差异，实现容器管理面业务无感卸载到DPU上。

无感卸载架构设计

图3：容器管理面无感卸载架构，展示了主机与DPU间的协同工作

无感卸载模块的主要设计特点：

1. 透明性设计：应用程序无需感知底层卸载过程
2. 资源隔离：确保DPU资源与主机资源的有效隔离
3. 性能优化：通过DPU硬件加速提升容器管理面性能
4. 兼容性保证：保持与现有容器编排系统的兼容

REXEC远程执行模块

rexec/模块提供了远程执行功能，支持在DPU上无感执行命令。该模块的设计考虑了安全性和性能的平衡：

• 白名单机制：通过config/rexec/whitelist配置文件控制可执行命令
• 进程隔离：确保远程执行进程的完全隔离
• 性能优化：最小化远程执行的延迟开销

🔗 模块间协同工作机制

dpu-utilities的三大核心模块通过精心设计的接口实现协同工作：

1. 文件系统与OS的集成

QTFS文件系统模块与DPU-OS紧密集成，通过优化的内核模块和驱动层实现高性能文件访问。qtfs/目录下的内核模块与dpuos/目录下的裁剪配置协同工作，确保文件系统在轻量化OS上的最佳性能。

2. 容器卸载与文件系统的协同

容器管理面无感卸载模块依赖QTFS提供的文件共享能力，实现容器镜像和数据的透明访问。usecases/libvirtd-offload/目录下的用例展示了这种协同工作的具体实现。

3. 统一配置管理

整个工具集采用统一的配置管理机制：

• config/目录包含各模块的配置文件
• 白名单机制贯穿各个安全敏感模块
• 环境变量和配置文件的一致性设计

🚀 模块化设计的优势

可维护性优势

1. 独立演进：每个模块可以独立开发和更新
2. 清晰边界：模块间接口定义明确，降低耦合度
3. 测试隔离：每个模块可以独立测试验证

可扩展性优势

1. 插件化架构：新功能可以作为独立模块添加
2. 配置驱动：通过配置文件扩展功能，无需修改代码
3. 多架构支持：支持x86_64和aarch64等多种硬件架构

部署灵活性

1. 选择性部署：用户可以根据需求选择部署特定模块
2. 渐进式升级：支持模块级别的逐步升级
3. 混合部署：支持不同版本模块的混合部署

📈 性能优化设计

dpu-utilities在架构设计中充分考虑了性能优化：

通信性能优化

• PCIe协议通信：QTFS使用底层主机-DPU间基于PCIe协议的通信，性能超越传统网络
• 零拷贝技术：在可能的情况下使用零拷贝技术减少内存复制
• 异步I/O：支持异步I/O操作，提升并发处理能力

资源优化

• 内存优化：DPU-OS裁剪减少内存占用
• CPU优化：移除不必要的系统服务和后台进程
• 存储优化：最小化安装包大小，减少存储需求

🔧 开发与测试架构

开发模块化

• test/目录包含完整的测试套件
• 每个核心模块都有对应的测试代码
• 集成测试验证模块间协作

文档结构化

• docs/目录包含中英文文档
• 每个模块都有详细的架构和使用文档
• 用例文档展示实际应用场景

🎯 总结

dpu-utilities的模块化设计思想体现了现代软件工程的最佳实践。通过QTFS共享文件系统、DPU-OS裁剪工具和容器管理面无感卸载三大核心模块的协同工作，为DPU硬件提供了完整的软件解决方案。这种设计不仅提高了系统的可维护性和可扩展性，还为性能优化和安全保障提供了坚实的基础。

对于想要深入理解DPU软件生态的开发者来说，dpu-utilities提供了一个绝佳的学习和实践平台。通过研究其模块化架构设计，可以掌握如何为专用硬件设计高效、可靠的软件系统。无论是DPU厂商、云服务提供商还是系统开发者，都能从这个项目中获得宝贵的架构设计经验。

【免费下载链接】dpu-utilitiesdpu-utilities is DPU customized software utility based on openEuler项目地址: https://gitcode.com/openeuler/dpu-utilities