三亩地 三亩地SAN MU DI · CODE DIARY
交流投稿
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天，欢迎挑你感兴趣的翻一翻。

首页/学习日记/日记详情

手把手教你用Ollama本地部署Qwen3.5-9B大模型：从GGUF量化到WebUI实战

发布时间：2026/8/9 2:25:15 三亩地 编程学习日记
手把手教你用Ollama本地部署Qwen3.5-9B大模型：从GGUF量化到WebUI实战

最近在本地部署大模型时，发现了一个“宝藏”模型——Qwen3.5-9B。它不仅在推理、代码、数学等多项基准测试中表现出色，更关键的是，通过特定的量化格式（如GGUF）和工具（如Ollama）部署后，其性能表现远超预期，甚至在某些任务上能与更大的模型“掰手腕”。本文将为你带来一份从零开始的完整实战指南，手把手教你如何利用Ollama在本地轻松部署并高效使用这个强大的Qwen3.5-9B模型，涵盖从环境搭建、模型拉取、Web界面交互到性能优化的全流程。

1. 背景与核心概念：为什么是Qwen3.5-9B与Ollama？

在深入实操之前，我们先理清几个核心概念，这有助于你理解整个部署流程的价值所在。

1.1 Qwen3.5-9B：小而精悍的开源大模型

Qwen3.5系列是阿里云通义千问团队推出的开源大语言模型。其中的9B（90亿参数）版本，在模型大小和性能之间取得了极佳的平衡。

  • “破限版”的由来：通常，我们默认讨论的是Qwen2.5系列。但社区中存在基于Qwen架构、使用高质量数据进一步精调或采用更优量化方案的衍生版本，这些版本在保持原版强大能力的基础上，可能在上下文长度、推理精度或特定任务上有所突破，因此被爱好者称为“破限版”或“增强版”。本文的核心就是部署这样一个高性能的9B级别模型。
  • 核心优势：
    • 性能强劲：在多项学术和实用基准测试中，Qwen3.5-9B的表现接近甚至超越部分70亿参数模型，性价比极高。
    • 多语言支持：对中英文都有优秀的理解和生成能力。
    • 代码能力突出：在代码生成、补全、解释任务上表现优异，是开发者的好帮手。
    • 轻量化：9B的参数量使得它可以在消费级显卡（如RTX 3060 12GB, RTX 4060 Ti 16GB）甚至仅用CPU进行流畅推理，部署门槛大大降低。

1.2 Ollama：本地大模型的一站式管理工具

Ollama的出现，极大地简化了在本地运行大语言模型的过程。你可以把它想象成Dockerfor LLMs。

  • 核心功能：
    • 模型管理：通过简单的命令（如ollama pull,ollama run）即可下载、运行和管理各种大模型。
    • 开箱即用：内置了模型所需的运行环境，无需用户手动配置复杂的Python依赖、CUDA库等。
    • 标准化格式：Ollama使用其自定义的Modelfile格式来打包模型和配置，但同时也完美支持业界流行的GGUF格式。
    • 提供API：运行模型后，会暴露一个类OpenAI的API接口（默认在11434端口），方便与其他应用（如OpenWebUI、Dify、自定义脚本）集成。

1.3 GGUF格式：量化技术的集大成者

GGUF（GPT-Generated Unified Format）是llama.cpp项目推出的模型文件格式，旨在替代旧的GGML格式。

  • 为什么重要：Qwen3.5-9B等大模型原始文件（如PyTorch的.bin文件）体积巨大，且需要大量GPU显存。通过量化技术，可以在几乎不损失精度的情况下，将模型压缩到更小的体积，并降低运行时的资源消耗。
  • GGUF的优势：
    • 单文件部署：所有模型权重和元数据打包在一个.gguf文件中，管理极其方便。
    • 丰富的量化等级：提供从Q2_K（高压缩，低精度）到Q8_0（低压缩，高精度）等多种选项，用户可根据硬件条件灵活选择。
    • 跨平台支持：能在CPU、GPU（通过CUDA、Metal、Vulkan）上高效运行。

总结一下我们的技术栈：我们将寻找一个高性能的Qwen3.5-9B GGUF模型文件，然后使用Ollama这个工具来加载和运行它，最后通过Web界面或API来使用它。

2. 环境准备与安装Ollama

2.1 硬件与软件要求

  • 操作系统：Windows 10/11, macOS, Linux (Ubuntu, CentOS等)均可。本文以Windows为例，其他系统命令类似。
  • 内存：建议至少16GB RAM。纯CPU运行需要较大内存，GPU运行可显著降低内存占用并提升速度。
  • 显卡（可选但推荐）：支持CUDA的NVIDIA显卡（如RTX 3060, 4060, 4090等）将获得最佳的推理速度。显存建议6GB以上，运行量化后的9B模型较为舒适。
  • 存储空间：预留10-20GB空间用于安装Ollama和下载模型。

2.2 安装Ollama

Ollama的安装过程非常简单。

  1. 访问官网：打开 Ollama官网 。
  2. 下载安装包：点击首页的“Download”按钮，选择对应你操作系统的版本（Windows用户下载.exe安装程序）。
  3. 安装：运行下载的安装程序，按照提示完成安装。安装完成后，Ollama服务会自动在后台运行。

验证安装： 打开命令行终端（Windows下为CMD或PowerShell，macOS/Linux为Terminal），输入以下命令：

ollama --version

如果显示出版本号（如ollama version 0.5.3），说明安装成功。

2.3 （可选）配置国内镜像加速模型下载

直接从官方拉取模型可能速度较慢。我们可以配置Ollama使用国内镜像源。

  1. Windows系统：

    • 在桌面右下角系统托盘找到Ollama图标（一个羊驼头像），右键点击，选择“退出”。
    • 打开环境变量设置（系统属性 -> 高级 -> 环境变量）。
    • 在“系统变量”或“用户变量”中，点击新建。
    • 变量名填写：OLLAMA_HOST
    • 变量值填写：0.0.0.0
    • 再次点击新建。
    • 变量名填写：OLLAMA_MODELS
    • 变量值填写：https://ollama.muxi.work（这是一个可用的国内镜像示例，请根据实际情况寻找最新可用的镜像地址，例如https://mirror.ghproxy.com也可用于加速GitHub资源）。
    • 点击确定保存所有更改。
    • 重新启动Ollama应用（从开始菜单启动即可）。

  2. macOS/Linux系统： 在终端中执行以下命令来设置环境变量并重启服务：

    # 设置环境变量 export OLLAMA_HOST="0.0.0.0" export OLLAMA_MODELS="https://ollama.muxi.work" # 重启ollama服务（具体命令可能因安装方式而异） # 如果是通过安装包安装，通常： sudo systemctl restart ollama # 或者直接后台运行： ollama serve &

    注意：将OLLAMA_MODELS的值替换为当前可用的镜像源。

3. 获取与运行Qwen3.5-9B GGUF模型

Ollama官方库中可能没有直接名为qwen3.5:9b的模型。我们需要通过Modelfile自定义加载本地的GGUF文件。

3.1 下载Qwen3.5-9B GGUF模型文件

我们需要从模型社区平台下载量化好的GGUF文件。Hugging Face是首选。

  1. 访问Hugging Face：打开 huggingface.co 。
  2. 搜索模型：在搜索框中输入Qwen2.5-9B-GGUF或Qwen2.5-9B-Instruct-GGUF。注意，由于命名规范，我们通常找到的是Qwen2.5系列的GGUF量化版，其性能就是我们所说的“破限版”基础。
    • 推荐仓库示例：[TheBloke/Qwen2.5-7B-Instruct-GGUF](https://huggingface.co/TheBloke/Qwen2.5-7B-Instruct-GGUF)。TheBloke是社区著名的量化专家，他提供了多种量化等级的GGUF文件。你可以寻找9B版本的类似仓库，如TheBloke/Qwen2.5-9B-Instruct-GGUF。
  3. 选择量化版本：进入仓库后，你会看到一堆以.gguf结尾的文件，命名类似qwen2.5-9b-instruct-q4_k_m.gguf。
    • q4_k_m表示量化等级。这是一个在精度和资源消耗上非常平衡的选择，强烈推荐。
    • q8_0：精度更高，文件更大，速度稍慢。
    • q2_k：压缩率高，文件小，精度损失相对明显。
  4. 下载文件：点击你选择的GGUF文件（如qwen2.5-9b-instruct-q4_k_m.gguf），然后点击“Download”按钮下载到本地。记住文件的保存路径，例如D:\Models\qwen2.5-9b-instruct-q4_k_m.gguf。

3.2 创建Ollama Modelfile

Ollama通过Modelfile来定义如何加载一个模型。我们需要创建一个文本文件来告诉Ollama去哪里找我们的GGUF文件。

  1. 在你方便的位置（例如模型文件同目录）新建一个文本文件，命名为Modelfile（注意没有后缀名，或者命名为Modelfile.txt后再去掉.txt后缀）。
  2. 用文本编辑器（如Notepad++, VSCode）打开这个文件，输入以下内容：
# Modelfile 用于从本地GGUF文件创建Ollama模型 FROM D:\Models\qwen2.5-9b-instruct-q4_k_m.gguf # 或者使用相对路径，如果Modelfile和gguf文件在同一目录： # FROM ./qwen2.5-9b-instruct-q4_k_m.gguf # 设置模型的提示词模板，这对于Instruct模型正确响应指令至关重要 TEMPLATE """{{ if .System }}<|im_start|>system {{ .System }}<|im_end|> {{ end }}<|im_start|>user {{ .Prompt }}<|im_end|> <|im_start|>assistant """ # 设置模型参数 PARAMETER temperature 0.7 # 控制随机性 (0.0-1.0)，越高越有创意 PARAMETER top_p 0.9 # 核采样，影响输出多样性 PARAMETER num_ctx 4096 # 上下文窗口大小 # PARAMETER num_gpu 20 # 指定分配给模型的GPU层数，如果使用GPU且想控制层数，可取消注释并调整

关键解释：

  • FROM：指定GGUF模型文件的绝对路径或相对于Modelfile的路径。
  • TEMPLATE：这是最关键的一步。Qwen系列模型使用特定的对话格式。这个模板定义了系统提示、用户问题和助手回答的包装方式。使用错误的模板会导致模型无法理解指令或输出乱码。
  • PARAMETER：设置模型推理时的超参数。temperature和top_p影响文本生成的“创造性”和“集中度”。

3.3 创建并运行自定义模型

保存好Modelfile后，打开命令行终端，切换到Modelfile所在的目录。

  1. 创建模型：使用ollama create命令，基于Modelfile创建一个新的Ollama模型。我们给这个模型起个名字，比如my-qwen9b。

    ollama create my-qwen9b -f ./Modelfile
    • my-qwen9b：是你自定义的模型名称，之后就用这个名字来运行。
    • -f ./Modelfile：指定使用的Modelfile路径。

    命令执行后，Ollama会读取GGUF文件并创建模型，这可能需要几分钟时间。

  2. 运行模型：模型创建成功后，就可以像使用官方模型一样运行它了。

    ollama run my-qwen9b

    首次运行会加载模型到内存/显存，稍等片刻后，你会看到>>>提示符，这意味着你已经进入了一个交互式对话界面！可以直接输入问题，例如：“用Python写一个快速排序函数。”

4. 使用Open WebUI打造图形化聊天界面

虽然命令行交互已经可用，但一个美观的Web界面能极大提升体验。Open WebUI（原名Ollama WebUI）是一个功能强大、类似ChatGPT的开源前端。

4.1 使用Docker安装Open WebUI（推荐）

这是最简单快捷的方式，前提是你的系统已安装 Docker 。

  1. 拉取并运行Open WebUI容器：

    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
    • -p 3000:8080：将容器的8080端口映射到本机的3000端口。你可以通过http://localhost:3000访问。
    • -v open-webui:/app/backend/data：将数据持久化到名为open-webui的Docker卷中，防止重启后数据丢失。
    • --restart always：容器意外退出时自动重启。

  2. 访问与配置：

    • 打开浏览器，访问http://localhost:3000。
    • 首次访问需要注册一个管理员账户。
    • 登录后，点击左下角设置图标（⚙️），进入设置页面。
    • 在“连接Ollama”部分，确保“Ollama基础URL”为http://host.docker.internal:11434（这是Docker容器内访问宿主机Ollama服务的地址）。如果你的Ollama运行在其他机器或端口，请相应修改。
    • 点击“测试连接”，如果显示“成功连接到Ollama！”，则配置正确。

4.2 在Open WebUI中使用模型

  1. 选择模型：在WebUI主界面，点击对话框上方的模型选择下拉框。你应该能看到我们之前创建的my-qwen9b模型。如果没看到，点击下拉框中的“刷新”按钮。
  2. 开始聊天：选择my-qwen9b后，就可以在输入框中提问了。你可以进行多轮对话，体验代码生成、文本创作、逻辑推理等功能。

5. 进阶使用与集成

5.1 通过API调用模型

Ollama提供了兼容OpenAI API的接口，这意味着任何支持OpenAI API的客户端、脚本或应用都可以直接连接你的本地模型。

  • API地址：http://localhost:11434/v1
  • API Key：Ollama默认不需要API Key，留空即可。

示例：使用Pythonrequests库调用

import requests import json def ask_ollama(prompt, model="my-qwen9b"): url = "http://localhost:11434/api/generate" payload = { "model": model, "prompt": prompt, "stream": False # 设为True可以流式接收响应 } headers = {'Content-Type': 'application/json'} try: response = requests.post(url, data=json.dumps(payload), headers=headers) response.raise_for_status() # 检查HTTP错误 result = response.json() return result.get("response", "No response generated.") except requests.exceptions.RequestException as e: return f"An error occurred: {e}" # 测试调用 question = "解释一下什么是递归。" answer = ask_ollama(question) print(f"Q: {question}") print(f"A: {answer}")

5.2 集成到Dify、LangChain等应用

由于提供了OpenAI兼容API，集成到更复杂的AI应用框架中非常容易。

  • Dify：在Dify的模型配置中，选择“OpenAI兼容API”，填入基础URL (http://localhost:11434/v1) 和模型名称(my-qwen9b)即可。
  • LangChain：可以使用ChatOllama或OpenAI（通过自定义base_url）来集成。
    from langchain_community.chat_models import ChatOllama from langchain_core.messages import HumanMessage llm = ChatOllama(model="my-qwen9b", base_url="http://localhost:11434") message = [HumanMessage(content="你好！")] response = llm.invoke(message) print(response.content)

6. 常见问题与性能优化

6.1 常见问题排查

问题现象可能原因解决方案
ollama run报错Error: model not found1. 模型名称拼写错误。
2. 模型未成功创建。		1. 用ollama list查看已安装模型，确认名称。
2. 检查创建模型时Modelfile路径和GGUF文件路径是否正确，重新执行ollama create。
模型响应速度极慢1. 使用CPU运行，且内存不足。
2. GGUF量化等级过低（如q2_k），反量化计算开销大。
3. 未利用GPU。		1. 增加系统内存或关闭其他占用内存的程序。
2. 尝试q4_k_m或q5_k_m等级的GGUF文件。
3. 确保Ollama能检测到GPU。在PowerShell运行ollama run my-qwen9b查看启动日志，确认是否显示“Using GPU”。
Open WebUI无法连接Ollama1. Ollama服务未运行。
2. 网络端口被阻止。
3. Docker容器内网络配置错误。		1. 重启Ollama服务。
2. 检查防火墙是否放行了11434端口。
3. 确保Open WebUI设置中的Ollama URL正确（宿主机访问用localhost:11434，Docker容器访问用host.docker.internal:11434）。
模型输出乱码或无法理解指令Modelfile中的TEMPLATE设置错误，与模型不匹配。查阅该模型在Hugging Face仓库的说明，找到正确的对话模板格式。Qwen2.5/3.5 Instruct模型通常使用上述提供的模板。
下载模型速度慢网络连接到Ollama官方仓库或Hugging Face较慢。1. 为Ollama配置国内镜像源（见2.3节）。
2. 使用代理工具（需合法合规）。
3. 直接从Hugging Face网页下载GGUF文件，然后本地创建。

6.2 性能优化建议

  1. 优先使用GPU：这是提升速度最有效的方法。确保你的NVIDIA显卡驱动和CUDA已正确安装。Ollama会自动利用GPU。
  2. 选择合适的量化等级：
    • 追求速度/低资源：q4_k_m是最佳平衡点。
    • 追求精度：选择q6_k或q8_0。
    • 显存极度紧张：考虑q3_k_m或q2_k，但需接受一定的精度损失。
  3. 调整Ollama运行参数：在Modelfile或运行命令中，可以调整：
    • num_gpu：强制指定将多少层模型加载到GPU。如果模型太大无法全部放入显存，Ollama会自动在CPU和GPU间切换。手动设置可以优化分层策略。
    • num_thread：当使用CPU时，设置使用的线程数，通常设为物理核心数。
    # 运行模型时指定参数 ollama run my-qwen9b --num-gpu 40 --num-thread 8
  4. 使用更高效的推理后端：对于极致性能追求者，可以研究使用vLLM或llama.cpp直接部署GGUF模型，它们可能提供比Ollama更优的吞吐量，但配置也更复杂。

7. 总结与最佳实践

通过本文的步骤，你已经成功在本地部署了一个功能强大的Qwen3.5-9B大模型，并拥有了命令行和图形化两种使用方式。回顾一下核心流程：安装Ollama -> 下载GGUF模型 -> 编写Modelfile -> 创建自定义模型 -> 运行或通过WebUI访问。

最佳实践清单：

  1. 模型来源：优先从Hugging Face上TheBloke等信誉良好的发布者处下载GGUF模型，质量有保障。
  2. 路径管理：为模型文件和Modelfile建立一个清晰的目录结构，便于管理多个模型。
  3. 模板匹配：务必使用与模型匹配的对话模板（TEMPLATE），这是模型正常工作的关键。
  4. 参数调优：根据你的任务调整temperature和top_p。创意写作可调高（如0.8），事实问答可调低（如0.2）。
  5. 资源监控：在运行模型时，使用任务管理器或nvidia-smi（针对GPU）监控资源使用情况，作为选择量化等级和调整参数的依据。
  6. 定期更新：关注Ollama和模型本身的更新，新版本通常会带来性能提升和Bug修复。
  7. 探索社区：Ollama和Open WebUI都有活跃的社区，遇到问题时可以在GitHub Issues或Discord中寻求帮助。

Qwen3.5-9B这样的模型，结合Ollama这样便捷的工具，真正让高性能大语言模型走入了个人开发者的电脑。无论是用于学习、辅助编程、内容创作还是搭建私人AI助手，它都是一个绝佳的起点。动手尝试，根据你的具体需求调整模型和参数，你会发现这个“小身材”的模型蕴含着“大能量”。

编程学习 学习日记 实战经验
← 返回列表