打开 Hugging Face 的模型榜单，前排几乎每周都在换。Llama、Qwen、DeepSeek、Mistral、GLM……对想在自己的项目里跑一个开源模型的开发者来说，问题早已不是"有没有得选"，而是"选错了要多花多少冤枉钱"。这篇文章按实际落地时真正会遇到的问题，把主流开源模型家族捋一遍，并给出一张可以直接照着做的选型决策表。

主流开源模型家族速览

先把当前第一梯队的玩家摆在一起：

| 模型家族 | 代表版本 | 常用规格 | 许可证 | 特点 | | --- | --- | --- | --- | --- | | Llama（Meta） | Llama 3.1 / 3.3 | 8B / 70B / 405B | Llama Community License | 生态最成熟，工具链适配最广，中文一般 | | Qwen（阿里） | Qwen2.5 | 0.5B~72B 全尺寸 | 多数 Apache 2.0 | 中文最强一档，小尺寸覆盖最全 | | DeepSeek | DeepSeek-V3 / R1 | 671B(MoE) / 蒸馏版 | 模型权重 MIT 系 | 推理能力突出，R1 开源了推理链路线 | | Mistral | Mistral Small / Large 系 | 7B~123B | 部分 Apache 2.0 | 欧洲背景，架构创新多（滑窗注意力等） | | GLM（智谱） | GLM-4 系列 | 9B 等开源档 | 自定义许可 | 中文与 Agent 能力均衡，工具调用稳 |

几个需要纠正的常见误解：第一，"开源"不等于"随便商用"——Llama 的社区许可对超大用户量的产品有额外条款，各家的许可细节发布前务必读原文；第二，MoE 大模型的名义参数和激活参数是两回事，DeepSeek-V3 总参数 671B 但每次只激活约 37B，部署成本不能按总参数线性估算；第三，蒸馏小模型（如基于 R1 蒸馏的 Qwen 小尺寸版）是推理能力下沉到消费级显卡的现实路径，别小看 7B~14B 这一档。

选型时真正要回答的五个问题

1. 显存够不够？这是最硬的约束。粗算公式：FP16 推理约需 参数规模 × 2GB 显存，INT8 量化减半，INT4 再减半。也就是说 8B 模型 INT4 量化后 5GB 上下，一张 RTX 4060 就能跑；72B 全精度需要 150GB 级，得上多卡 A100/H100 或者走云端 API。

2. 中文重不重要？业务以中文为主的话，Qwen 和 GLM 的第一梯队地位很稳；Llama 系中文能用在微调后，但开箱体验有差距。

3. 需不需要超长上下文？处理整本财报、长篇合同的场景，要关注模型的原生上下文窗口和位置编码外推能力，更要实测——标称 128K 不等于 128K 处还能准确保留信息，中间段落遗忘是普遍问题。

4. 工具链生态匹配吗？Llama 的第三方教程、量化包、微调脚本密度最高，遇到问题最容易搜到答案。Qwen 在国内文档与社区响应上占优。冷门票型虽然榜单好看，一旦踩坑可能孤立无援。

5. 微调还是提示词？如果需求靠提示词 + RAG 能覆盖，就别微调。微调的真实成本不在训练那几小时，而在数据构造、评测集维护和版本回归。

6. 本地部署还是调 API？数据敏感、调用量大且稳定的业务，本地部署的长期成本更低；调用量小或波动大的场景，云端 API 的弹性更划算。一个常被忽略的折中方案是"小模型本地 + 大模型云端"的混合架构：常规请求用本地 7B 处理，遇到复杂任务再路由到更强模型，既控成本又保隐私。

本地部署：用 vLLM 起一个生产级服务

Transformers 直接generate适合调试，真要对外服务，vLLM 的 PagedAttention 和连续批处理能把吞吐拉高一个数量级。以 Qwen2.5-7B 为例：

# 启动 OpenAI 兼容服务（单卡即可跑 INT8/FP16 的 7B） python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --max-model-len 32768 \ --gpu-memory-utilization 0.9

调用方完全按 OpenAI SDK 的习惯写：

from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY") resp = client.chat.completions.create( model="Qwen/Qwen2.5-7B-Instruct", messages=[ {"role": "system", "content": "你是严谨的技术助手。"}, {"role": "user", "content": "解释 PagedAttention 解决了什么问题"}, ], temperature=0.7, max_tokens=512) print(resp.choices[0].message.content)

这套 OpenAI 兼容协议是当下部署层的事实标准：Ollama 适合个人快速试玩，vLLM 面向生产吞吐，SGLang 在复杂 Agent 调用场景有优势，三者的应用层代码几乎不用改。

量化策略也值得单独说一句。INT4 量化（如 GPTQ、AWQ）能把 7B 模型压进 5GB 显存，但会带来可测量的精度损失，对数学推理和代码生成这类硬任务影响更明显。稳妥的做法是：开发调试期用 FP16 或 INT8 保证行为符合预期，上线压成本时再切 INT4，并且切换前后必须跑一遍评测集对比，确认核心业务指标没有回退。量化不是免费的午餐，只是大多