🖥️ 基础环境

📦 驱动和SDK安装

请参考：UOS V2500 沐曦驱动安装手册

下载安装包

• 官方下载中心：沐曦资源中心
• 驱动包名称：mx-exporter.0.15.2.tgz

export安装部署

1.安装部署

# 安装MXMACA SDK之后，在 /opt/maca/wheel 目录下找到Python 3 的wheel包：**mx_exporter_*.whl**。# 进入到目录cd/opt/maca/wheel# 安装whlpipinstallmx_exporter-2.2.6-py3-none-any.whl

2.使用方法

mx-exporter 参数说明（wheel包安装）

执行以下命令启动mx-exporter，监听端口为8002，收集指标间隔为5s：

sudomx-exporter-p8002-i5000

3. 查看mx-exporter抓取数据

在浏览器输入http://<host_ip>:<host_port>/metrics或执行curl http://<host_ip>:<host_port>/metrics，其中<host_port>是主机需要开放的HTTP端口号，可用-p指定。
例如：http://10.10.13.111:8002/metrics

Prometheus 配置与容器化部署

1. 配置文件编写（prometheus.yml）

prometheus监控vLLM服务配置文件

# 全局配置项，适用于所有 jobglobal:# 设置 Prometheus 抓取目标指标的时间间隔scrape_interval:15s# 每 15 秒抓取一次数据（默认是 1 分钟）# 设置评估告警规则的时间间隔evaluation_interval:15s# 每 15 秒检查一次告警规则（默认是 1 分钟）# 设置每次抓取目标的最大超时时间scrape_timeout:10s# 默认也是 10 秒# 抓取目标配置scrape_configs:# 第一个 job：监控 vllm 推理服务-job_name:'vllm-monitoring'# job 名称static_configs:-targets:-'10.10.13.111:8000'# vllm 服务的地址和端口# 第二个 job：GPU 监控（使用 nvitop-exporter）-job_name:'gpu-monitoring'# job 名称，用于标识 GPU 指标来源static_configs:-targets:-'10.10.13.111:8002'# mx-exporter 默认监听在 8002 端口

prometheus监控SGLang服务配置文件

# 全局配置项，适用于所有 jobglobal:# 设置 Prometheus 抓取目标指标的时间间隔scrape_interval:15s# 每 15 秒抓取一次数据（默认是 1 分钟）# 设置评估告警规则的时间间隔evaluation_interval:15s# 每 15 秒检查一次告警规则（默认是 1 分钟）# 设置每次抓取目标的最大超时时间scrape_timeout:10s# 默认也是 10 秒# 抓取目标配置scrape_configs:# 第一个 job：监控 vllm 推理服务-job_name:'sglang-monitoring'# job 名称static_configs:-targets:-'10.10.75.30:30000'# sglang 服务的地址和端口# 第二个 job：GPU 监控（使用 nvitop-exporter）-job_name:'gpu-monitoring'# job 名称，用于标识 GPU 指标来源static_configs:-targets:-'10.10.13.111:8002'# mx-exporter 默认监听在 5050 端口

2. 容器化部署
   使用 镜像部署 Prometheus，挂载配置文件与数据存储目录，确保服务重启后数据不丢失：

# 创建prometheus文件夹mkdir/root/xyh/prometheus# 在prometheus文件夹创建prometheus.yml文件cd/root/xyh/prometheustouchprometheus.yml# 创建数据目录mkdirdata# 为Prometheus文件夹分配权限chmod-R777/root/xyh/prometheus# 启动容器prometheus服务dockerrun-d--nameprometheus\-p9090:9090\-v/data/prometheus/data:/prometheus\-v/data/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml\registry.uniontech.com/uos-app/uos-server-20-prometheus:2.32.1

访问地址：http://<服务器IP>:9090，可在Status > Targets中查看指标采集状态。

Grafana 配置与仪表盘导入

容器化部署
使用镜像快速启动 Grafana 服务，默认端口为 3000，首次登录默认账号密码为admin/admin

dockerrun-d--namegrafana-p3000:3000 registry.uniontech.com/uos-ai/grafana:v13.0.1

创建数据源
登录 Grafana，进入connection > Data Sources；
选择prometheus，输入prometheus访问地址：http://<ip地址>:9090
点击save & test 保存配置并测试prometheus API是否可用。

导入 nvitop 定制仪表盘
可以直接使用上传的 metax-mxc500-physical.json 文件。
导入步骤：
登录 Grafana，；
选择 Prometheus 作为数据源，完成仪表盘加载。

选择本地metax-mxc500-physical.json 文件导入

同理，对于 vLLM 相关的监控，可使用 vllm-dashboard.json 文件，导入方式同上。

同理，对于 SGLang 相关的监控，可使用 sglang-dashboard.json 文件，导入方式同上。