【零基础部署】Ollama 部署 Qwen2.5 保姆级教程

📅 2026/7/12 0:58:03 👁️ 阅读次数 📝 编程学习
【零基础部署】Ollama 部署 Qwen2.5 保姆级教程

你是否想在本地运行大语言模型,但又被复杂的环境配置劝退?Ollama 是一款轻量级的本地大模型运行工具,只需一行命令即可部署。Qwen2.5 是阿里巴巴通义千问团队推出的强大开源模型,支持多种规格。本教程将手把手带你通过 Ollama 在 Ubuntu 上部署 Qwen2.5,从安装到 API 调用,全程保姆级指导。

1. 什么是 Ollama

Ollama 是一个开源的本地大语言模型运行框架,它的设计目标是让大模型的部署变得像运行一条命令一样简单。Ollama 内置了模型管理、推理引擎和 API 服务,支持 Llama、Qwen、Mistral、Gemma 等主流开源模型。你无需手动配置 Python 环境、CUDA 依赖或模型权重,Ollama 会自动处理这一切。

核心特点:

  • 一行命令安装,零配置上手
  • 内置模型仓库,自动拉取和管理模型
  • 提供兼容 OpenAI 格式的 REST API
  • 支持 CPU 和 GPU 推理,自动检测硬件

2. 前置条件

在开始之前,请确认你的环境满足以下要求:

  • 操作系统:Ubuntu 20.04 或更高版本(其他 Linux 发行版同样支持)
  • 内存:8GB 以上(运行 7B 模型的基本要求)
  • 磁盘空间:至少 10GB 可用空间(用于存放模型文件)
  • GPU(可选):NVIDIA 显卡可显著加速推理,但 CPU 也能正常运行

检查系统内存:

free-h

检查磁盘空间:

df-h/

3. 安装 Ollama

Ollama 官方提供了一键安装脚本,执行以下命令即可完成安装:

curl-fsSLhttps://ollama.com/install.sh|sh

安装完成后,验证是否成功:

ollama--version

正常情况下会输出类似ollama version 0.6.2的版本信息。安装脚本会自动配置 systemd 服务,Ollama 后台服务会随系统启动自动运行。

如果需要手动管理服务,可以使用以下命令:

# 启动服务sudosystemctl start ollama# 查看服务状态