三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

从零开始本地部署大模型:Ollama + OpenWebUI 实战教程

从零开始本地部署大模型:Ollama + OpenWebUI 实战教程

大家好!在 AI 大模型爆发的今天,很多人可能已经习惯了使用 ChatGPT、Claude 等在线服务。但你是否遇到过以下痛点:

  • 担心公司机密代码、敏感财务数据泄露,不敢喂给在线大模型?
  • 因为网络环境或账号被封禁,关键时刻 AI 助手经常掉链子?
  • 每个月要交几十美金的订阅费,长年累月也是一笔不小的开销?

如果你有以上任何一个顾虑,那么“本地化部署”就是你的最终答案。今天,我们将开启一个全新的系列教程:《OpenWebUI + Hermes 全栈实战指南》。

在这个系列的第一期,我会手把手教你零成本、无需深厚编程基础,在自己的电脑上搭建一个体验媲美 ChatGPT,且完全由你掌控的私有化 AI 助手!

黄金组合:OpenWebUI 与 Hermes

在本地部署领域,有两款神级开源软件是我们这个系列的核心。

1. 最强开源前端:OpenWebUI

如果你觉得本地跑大模型就是在黑乎乎的终端里敲代码,那你就大错特错了。OpenWebUI 是目前体验最接近官方 ChatGPT 的开源项目。它拥有极其精致的交互界面,支持对话、多模型切换、历史记录保存,甚至还能上传文件、画图。有了它,普通用户完全感受不到这是在本地运行的。

2. 指令大师:Nous Hermes 大模型

在浩如烟海的开源大模型中,为什么我们重点推荐 Hermes(基于 Llama 架构微调)?

因为对于日常办公和个人助理而言,我们最看重的是“听懂人话”(即指令遵循能力)。Hermes 系列模型被誉为开源界在 System Prompt(系统提示词)和角色扮演方面最强的模型之一,而且它完全无审查 (Uncensored),不会对你的指令指手画脚。


实战操作:4步极简部署

要让这两个神器跑起来,我们只需要两个基建工具:Ollama(负责跑模型)和 Docker(负责跑前端)。

第一步:安装 Ollama

去 Ollama 官网下载对应系统(Windows/Mac/Linux)的安装包,一路“下一步”安装即可。安装好后,打开终端(Terminal / CMD),输入:

ollama -v

看到版本号说明大功告成!

第二步:安装 Docker

同样的,去 Docker 官网下载 Docker Desktop 并安装。启动后保证 Docker 图标在状态栏常驻。

第三步:一键拉起 OpenWebUI

打开终端,复制并运行这行魔法代码:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

稍微等待下载完成,你的专属前端就部署好了。

第四步:拉取 Hermes 模型并开始对话!

  1. 打开浏览器,访问http://localhost:3000,你会看到一个非常熟悉的登录界面。首次请注册一个管理员账号(数据全保存在本地,放心填)。

  2. 进入界面后,点击右上角的设置 -> 管理。

  3. 在“拉取模型”的框里输入我们今天的主角:

hermes3:8b

(注:这是目前极具性价比的 8B 版本,大多数现代电脑都能轻松跑起来)

点击下载,喝口水的功夫,模型就下好了。现在回到对话界面,在顶部的模型下拉菜单中选择hermes3:8b,输入你的第一个问题:

“你好,请介绍一下你自己,并用 Python 写一个简单的贪吃蛇游戏。”

享受那种没有任何网络延迟、答案直接在屏幕上流淌而出的快感吧!


总结与下期预告

今天我们完成了万里长征的第一步:搭建环境并跑通了对话。

但在下一期,我们将解决大家最关心的问题——“硬件焦虑”。你的显卡到底能跑多大的模型?GGUF 是什么?Q4 和 Q8 量化该怎么选?

敬请期待《第二期:硬件与量化篇 —— 告别显存焦虑》!关注我不迷路哦!

这里给大家精心整理了一份全面的AI大模型学习资源包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

7. 资料领取:全套内容免费抱走,学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型,还是有基础想冲刺大厂、了解行业趋势,这份资料都能满足你!
现在只需按照提示操作,就能免费领取:

👇👇扫码免费领取全部内容👇👇

← 返回列表