【最全】本地模型怎么选？
⏱️ 阅读时间：约 10 分钟 🎯 本节你将学会：看懂模型名字和量化、根据自己电脑选对模型、知道每个模型占多大空间
如果你只想看结论
显存大小 | 直接选这个 | 文件大小 | 能力简述 |
|---|---|---|---|
| 8GB | qwen3:4b | ~2.5 GB | 入门首选，仅处理简单文字 |
| 16GB | qwen3.5:9b | ~5 GB | 甜点之选，性能超越前代 30B |
| 32GB | qwen3.6:27bQ4 | ~17 GB | 编码最强密集模型，SWE-bench 77.2% |
| 48GB | qwen3.6:27bQ8 | ~28 GB | 近无损量化，编码质量极致 |
| 64GB+ | qwen3:235b（MoE） | ~142 GB | 本地最强中文模型，MoE 仅激活 22B |
个人建议 16G 以下Q4_K_M量化版本，性价比最高的平衡点。
32G 以上优先选 6Bit、8Bit 版本，幻觉相对少。
去哪里找模型？
开源模型发布平台
https://huggingface.co/models （需要魔法）
https://hf-mirror.com/ （国内镜像）
模型名字怎么看？
一个典型的模型名：Qwen3.6:27b-Q4_K_M
把它拆开：
部分 | 意思 | 例 |
|---|---|---|
| Qwen3.6 | 阿里巴巴 2026 年的开源模型系列 | 中文能力最强，首选 |
| 27b | 参数规模 | 越大越聪明，也越吃内存 |
| （隐含） | 架构类型：密集 vs MoE | 见下节详解 |
| Q4_K_M | 量化级别（见下节） | Q4 = 压缩到约 1/4 |
常见系列一览：
系列 | 谁做的 | 强项 | 适合谁 |
|---|---|---|---|
| Qwen3.6 | 阿里 | 中文最强，Agentic Coding 顶尖 | 国内用户首选 |
| Gemma 4 | 多模态推理，MoE 高效 | 多模态/通用场景 | |
| DeepSeek | 幻方 | 推理/数学很强 | 代码和逻辑任务 |
| Llama 4 | Meta | 英文生态最好 | 英文场景 |
| Mistral | 法国团队 | 轻量高效 | Mac 和低配用户 |
| Ornith 1.0 | DeepReinforce | Agentic Coding 专项 | 编码/Agent 场景 |
进阶例子：看懂社区魔改版
实际下载时你会看到这样的长名字：
Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF
逐段拆解：
部分 | 意思 |
|---|---|
| Huihui | 上传者的 ID（社区知名作者） |
| Qwen3.6-35B-A3B | 基础模型：Qwen3.6 系列，35B 总参数，MoE 激活 3B |
| Claude-4.7-Opus | 用 Claude 4.7 Opus 的输出做了知识蒸馏/合并 |
| abliterated | 去除了安全拒绝机制（解锁限制，但需自行承担风险） |
| MTP | Multi-Token Prediction，一次预测多个 token，推理加速 |
| GGUF | llama.cpp / Ollama 使用的模型格式 |
社区版名字越长说明"加料"越多。新手建议从官方版（如
Qwen/Qwen3.6-35B-A3B）开始，熟悉后再尝试社区合并版。
量化就是"压缩"
一句话解释
模型原本用 16 位小数存每个参数，量化到 4 位，文件变成 1/4，智力下降约 5%。
就像把无损 FLAC 音乐压成 320kbps MP3。文件小很多，你听不出区别。
常见量化级别
级别 | 压缩比 | 文件大小 | 质量 | 推荐度 |
|---|---|---|---|---|
| Q2_K | 1/8 | 最小 | 明显下降 | ❌ 不太推荐 |
| Q3_K | 1/5 | 较小 | 还行 | ⚠️ 凑合用 |
| Q4_K_M | 1/4 | 适中 | 几乎无损 | ✅首选 |
| Q5_K_M | 1/3 | 较大 | 更好 | ✅ 内存够用选这个 |
| Q8_0 | 1/2 | 大 | 接近无损 | ✅ 内存很充裕选这个 |
| FP16 | 不压缩 | 原版大小 | 完美 | ❌ 太大了没必要 |
🔥Q4_K_M 是甜点级别：文件小一半、质量几乎不掉。所有新手从这里开始。
MoE vs 密集：两种架构有什么区别？
你会在模型名字后面看到「密集」或「MoE」，这指的是模型的内部结构。
密集模型（Dense）
所有参数对每个 token 都激活。就像一个全能员工，每次任务都动用全部能力。
优点 | 缺点 |
|---|---|
输出稳定，逻辑一致性强 | 推理速度慢（全部参数都要计算） |
微调和部署简单 | 同等参数下更吃显存 |
例子：Qwen3.6:27b 是密集模型。27B 参数全部激活，每个 token 都经过完整的 27B 计算。
MoE（Mixture of Experts——混合专家）
模型内部有几十到几百个「专家」子网络，每次推理只激活其中少数几个。就像一个公司，不同专家各有所长，来活时只叫最相关的几个人。
以Qwen3.6:35b MoE为例：总参数 35B，但每次只激活约3B。
优点 | 缺点 |
|---|---|
推理快，省显存 | 输出偶尔不稳定（不同 token 可能激活不同专家） |
同价格下能做更大的总参数 | 调度有额外开销，小 batch 下优势不明显 |
一句话记住
密集 = 一个人全力干活，MoE = 一个团队分工干活。密集更稳，MoE 更快更省。
怎么选？
你的需求 | 优先选 |
|---|---|
编码/逻辑任务、追求稳定输出 | 密集模型 |
大上下文、高并发、推理速度优先 | MoE 模型 |
显存有限但想体验大模型 | MoE（有效参数小） |
追求极致质量、显存充裕 | 密集模型 |
开源模块智能排名
开源 AI 模型对比
https://artificialanalysis.ai/models/open-source/medium
按硬件选模型（详细版）
8GB 内存
你的选择不多，但好消息是现在的小模型很强。
推荐模型 | 量化 | 文件大小 | 说明 |
|---|---|---|---|
🔥Qwen3:4b | Q4_K_M | ~2.5 GB | 首选 。4B 参数，水平≈旧版 72B |
Qwen3:1.7b | Q4_K_M | ~1.2 GB | 更轻量，老电脑也能跑 |
8GB 跑 4b 模型没问题，别开太多其他应用就行。
16GB 内存
这是大多数人的配置，2026 年上半年新出了不少好选择。
推荐模型 | 量化 | 文件大小 | 说明 |
|---|---|---|---|
🔥Qwen3.5:9b | Q4_K_M | ~5.7 GB | 9B 性能超越前代 30B，速度和质量的甜点 |
| Gemma4:12b | Q4_K_M | ~8 GB | 无编码器多模态，支持原生音频输入 |
Qwen3:14b | Q4_K_M | ~9 GB | 更聪明，但会占掉大半内存 |
Qwen3.5:9b 在 GPQA 等基准上超越 Qwen3-30B（3 倍于它的模型），是 16GB 用户的新首选。Gemma4:12b 适合需要图片+音频多模态的场景。
32GB 内存
可以上真正的"大模型"了。2026 年 Q2 的模型在这里最卷。
推荐模型 | 量化 | 文件大小 | 说明 |
|---|---|---|---|
🔥Qwen3.6:27b | Q4_K_M | ~17 GB | 密集模型，SWE-bench 击败自家 397B MoE |
| Qwen3.6:35b MoE | Q4_K_M | ~21 GB | MoE 仅激活 3B，推理飞快 |
| Gemma4:26b MoE | Q4_K_M | ~17 GB | Google MoE，4B 激活，多模态均衡 |
Qwen3.6:27b 是目前 30B 以内最强的密集模型（SWE-Bench Verified 77.2%），32GB 内存首选。35b MoE 只激活 3B 参数，适合需要大上下文或高并发的场景。
48GB 内存
通常是有独立显卡或者 Mac Studio 级别的配置。
推荐模型 | 量化 | 文件大小 | 说明 |
|---|---|---|---|
🔥Qwen3.6:27b | Q8_0 | ~28 GB | 近无损量化，编码质量极致 |
| Ornith 1.0 35B MoE | Q5_K_M | ~25 GB | MIT 许可，Agentic Coding 专项 |
Qwen3.5:27b | Q4_K_M | ~17 GB | 前代旗舰密集，兼顾质量与速度 |
Ornith 1.0 35B 使用 MIT 许可无任何限制，在 SWE-Bench Verified 上达到 75.6%，是编码任务的专项利器。
64GB+ 内存
本地最强配置，可以跑"世界级"模型。
推荐模型 | 量化 | 文件大小 | 说明 |
|---|---|---|---|
🔥Qwen3:235bMoE | Q4_K_M | ~142 GB | 本地最强中文模型 |
| Qwen3.6:27b | BF16 | ~56 GB | 全精度，质量最高 |
| DeepSeek-V3 | Q2_K | ~230 GB | 超低量化，推理/代码专项 |
235B MoE 每次只激活约 22B 参数，推理速度远比同规模密集模型快。
快速对照卡
保存这张表，选模型时翻出来看：
你的内存 → 推荐模型 → 文件多大 ──────────────────────────────────────────── 8GB → qwen3:4b Q4_K_M → 2.5 GB 16GB → qwen3.5:9b Q4_K_M → 5.7 GB 🔥首选 16GB → gemma4:12b Q4_K_M → 8 GB (多模态) 32GB → qwen3.6:27b Q4_K_M → 17 GB 🔥首选 32GB → qwen3.6:35b MoE Q4_K_M → 21 GB (更快) 32GB → gemma4:26b MoE Q4_K_M → 17 GB (多模态) 48GB → qwen3.6:27b Q8_0 → 28 GB 🔥首选 48GB → ornith:35b MoE Q5_K_M → 25 GB (代码专项) 64GB+ → qwen3:235b MoE Q4_K_M → ~142 GB不确定怎么看自己内存？Mac 点左上角苹果 → 关于本机；Windows 点"此电脑"右键 → 属性。
📦 本节成果
✅ 你学会了看模型名字（Qwen3.6:27b = 系列:参数规模）
✅ 你理解了密集 vs MoE 架构的区别和怎么选
✅ 你理解了量化（= 压缩，Q4_K_M 是甜点）
✅ 你根据自己的内存找到了推荐的模型和文件大小
✅ 你知道不同系列模型（Qwen3.6/DeepSeek/Gemma4/Llama/Mistral/Ornith）的区别