Ollama 简介

Ollama 是一个开源的本地大语言模型运行框架，旨在简化大模型在本地环境的部署和使用。

核心特点

• 本地运行：模型完全在本地机器上执行，数据不出本机，保障隐私安全
• 简单易用：一条命令即可下载并运行模型，无需复杂配置
• 模型丰富：支持 Llama、Gemma、Mistral、Qwen、DeepSeek 等主流开源模型
• 轻量高效：针对消费级硬件优化，普通电脑即可运行

基本用法

# 安装后运行模型（自动下载）ollama run llama3# 拉取模型ollama pull qwen2# 查看已下载模型ollama list# 删除模型ollamarmllama3

API 接口

Ollama 启动后默认在http://localhost:11434提供 REST API，兼容 OpenAI API 格式：

# 生成补全curlhttp://localhost:11434/api/generate-d'{ "model": "llama3", "prompt": "Hello" }'# 对话补全curlhttp://localhost:11434/api/chat-d'{ "model": "llama3", "messages": [{"role": "user", "content": "Hello"}] }'

也可通过 SDK 集成：

// Node.jsimport{Ollama}from'ollama';constollama=newOllama();constresponse=awaitollama.chat({model:'llama3',messages:[{role:'user',content:'Hello'}],});

# Pythonimportollama response=ollama.chat(model='llama3',messages=[{'role':'user','content':'Hello'}],)

Modelfile 自定义

Ollama 支持通过 Modelfile 创建自定义模型，类似 Dockerfile：

FROM llama3 PARAMETER temperature 0.7 SYSTEM You are a helpful coding assistant.

ollama create my-model-fModelfile

适用场景

支持平台

• macOS
• Linux
• Windows

Ollama 降低了使用大语言模型的门槛，让开发者和用户无需依赖云端服务，即可在本地体验和集成大模型能力。