Gemma 4 26B A4B QAT对齐量化性能测试：90.3% Top-1准确率的秘密

【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned

Gemma 4 26B A4B it QAT对齐4-bit模型是一款专为MLX框架优化的量化模型，通过创新的QAT-lattice-aligned技术实现了90.3%的Top-1准确率，在保持高性能的同时将模型大小从52GB压缩至15GB，为AI开发者提供了高效且精准的文本生成解决方案。

什么是QAT对齐量化？

QAT（Quantization-Aware Training，量化感知训练）是一种在模型训练过程中就考虑量化影响的技术，能够显著提升量化模型的性能。而QAT对齐量化则是这一技术的进阶应用，它通过从权重中恢复Google原始的QAT尺度，而非从最小/最大统计数据重新推导，确保量化后的模型与原始QAT模型保持高度一致。

传统的量化方法（如llama.cpp的Q4_0或MLX的默认 affine模式）会导致约60-74%的MoE/MLP块重新对齐到错误的网格上，而QAT对齐量化通过直接从已对齐的权重中恢复每个32块的网格步长，将相对RMSE（均方根误差）控制在0.18-0.23%的bf16存储噪声水平，达到了惊人的精度保留效果。

性能测试结果：90.3% Top-1准确率的突破

在与bf16 QAT参考模型的对比测试中，这款Gemma 4 26B A4B QAT对齐量化模型展现出卓越的性能：

权重空间相对RMSE对比

教师强制logits性能对比（1600 token混合EN/zh/code文本）

测试结果显示，QAT对齐量化模型不仅在平均KL散度上优于其他量化方法，更以90.3%的Top-1准确率超越了无量化的噪声对照组，达到了该128专家稀疏MoE架构的内在敏感性极限。这意味着剩余的KL散度完全由±1-ulp bf16舍入噪声通过离散路由翻转放大引起，而非量化误差。

快速开始：如何使用Gemma 4 QAT对齐量化模型

使用这款高性能量化模型非常简单，只需几步即可在MLX框架中部署：

1. 安装mlx-lm

pip install mlx-lm

2. 加载模型并生成文本

from mlx_lm import load, generate model, tokenizer = load("mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned") prompt = tokenizer.apply_chat_template( [{"role": "user", "content": "Explain quantization-aware training in two sentences."}], add_generation_prompt=True, ) print(generate(model, tokenizer, prompt=prompt, max_tokens=256))

深入了解：转换脚本与技术细节

项目中提供了完整的转换脚本，位于conversion/目录下：

• qat_q4_recover.py：晶格尺度恢复量化器，通过每32块的k-sweep（残差容差0.075）吸收code × scale乘积的bf16舍入，然后进行最小二乘拟合
• convert_aligned.py：端到端转换器，生成此 repo 的格式（针对qat-q4_0-unquantized检查点运行；使用--quantize-router也可量化路由器）

模型配置文件config.json显示，该模型采用4-bit affine量化模式，组大小为32，与传统的Q4_0相比，MLX的affine格式每个组存储一个偏差（此处始终为-8·scale），虽然存在冗余但为当前内核所必需。

注意事项与限制

• 文本专用：mlx-lm Gemma 4实现删除了视觉塔（Google并未对其进行QAT量化）
• 存储效率：约5.0 bits/weight，相比GGUF Q4_0的4.5 bits/weight略高
• 字节精确恢复：由于bf16尺度限制，无法实现bf16检查点的字节精确恢复，但达到了约90%的字节精确率，其余在±1 ulp范围内，处于KL控制量化的bf16噪声水平

许可证与归属

Gemma根据Gemma 4许可证提供（Gemma 4为Apache 2.0）。本模型是Google DeepMind gemma-4-26B-A4B-it-qat-q4_0-unquantized的量化衍生品；模型和QAT pipeline的所有功劳归于Google。转换使用mlx-lm及包含的尺度恢复量化器完成。

要获取完整项目，请克隆仓库：

git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned

通过QAT对齐量化技术，Gemma 4 26B A4B模型在保持90.3% Top-1准确率的同时实现了显著的模型压缩，为AI应用在资源受限环境中的部署提供了理想选择。无论是学术研究还是商业应用，这款模型都展现出了卓越的性能和实用价值。

【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned