Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0震撼发布：AMD ZenDNN优化的CPU视觉语言模型终极指南

【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0

Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0是由AMD使用TorchAO为ZenDNN优化的CPU推理创建的量化版本，基于Qwen2.5-VL-7B-Instruct模型，专为AMD EPYC CPU打造，为视觉语言处理任务提供高效的解决方案。

模型核心特性与优势

专为AMD EPYC CPU量身打造

该模型经过精心优化，仅适用于AMD EPYC CPU进行推理，通过ZenDNN技术充分发挥AMD处理器的性能优势，为用户带来高效的视觉语言处理体验。

先进的量化技术

模型采用了INT8量化技术，对激活和权重进行对称映射量化，激活尺度在运行时按令牌动态计算。这种量化方式在保证模型性能的同时，有效降低了计算资源的消耗，使得模型在CPU上的运行更加高效。

严格的版本兼容性

此模型使用TorchAO v0.16.0进行量化，仅与PyTorch v2.10.0和ZenDNN v5.2.1兼容。使用时需确保环境版本匹配，否则模型将无法正确加载。

快速上手：模型的安装与使用

准备工作

在开始使用模型之前，需要确保系统中已安装PyTorch v2.10.0和ZenDNN v5.2.1等必要的CPU运行时库。

获取模型

可以通过以下命令克隆仓库来获取模型：

git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0

加载与量化模型

加载和量化模型的过程简单便捷，以下是示例代码：

model_name = "Qwen/Qwen2.5-VL-7B-Instruct" quantized_model = AutoModelForVision2Seq.from_pretrained( model_name, # 相关参数设置 )

由于Qwen2.5-VL是视觉语言模型，因此使用AutoModelForVision2Seq；对于纯文本的Qwen变体，使用AutoModelForCausalLM的流程相同。

保存量化模型

量化完成后，可以使用以下代码保存模型：

quantized_model.save_pretrained(output_dir, safe_serialization=False)

模型推理

加载量化模型和分词器后，即可进行推理：

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) output = quantized_model.generate( # 输入数据及相关参数 )

vLLM CPU运行时调优

为了获得更好的性能，可以进行vLLM CPU运行时调优，通过设置环境变量来配置：

export VLLM_CPU_KVCACHE_SPACE=40 # GB of host memory for KV cache export VLLM_CPU_OMP_THREADS_BIND="0-63" # NUMA-local cores

模型评估

该模型使用lm-evaluation-harness与vLLM引擎，采用多模态vllm-vlm模型类型，针对BF16（未量化）基线进行了评估。评估命令示例如下：

--model vllm-vlm \ --model_args pretrained=amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0,tokenizer=Qwen/Qwen2.5-VL-7B-Instruct,dtype=bfloat16 \

注意事项

• CPU专用：该模型专为AMD EPYC CPU推理优化，不适合GPU推理。
• 版本锁定：务必使用指定版本的PyTorch和ZenDNN，以确保模型正常加载和运行。

许可证信息

本模型与源模型采用相同的许可证分发，详情请参见LICENSE文件。

【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0