告别信息搜寻烦恼：用fastgpt快速部署国内大模型知识库助手

Docker Compose 快速部署

使用 Docker Compose 快速部署 FastGPT

环境	最低配置（单节点）	推荐配置
测试	2c2g	2c4g
100w 组向量	4c8g 50GB	4c16g 50GB
500w 组向量	8c32g	16c64g 200GB

部署架构图

1. 准备好代理环境（国外服务器可忽略）

确保可以访问 OpenAI，具体方案可以参考：代理方案。或直接在 Sealos 上部署 OneAPI，既解决代理问题也能实现多 Key 轮询、接入其他大模型。

2. 多模型支持

FastGPT 使用了 one-api 项目来管理模型池，其可以兼容 OpenAI 、Azure 、国内主流模型和本地模型等。

一、安装 Docker 和 docker-compose

LinuxMacOSWindows

# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效，自行百度~

二、创建目录并下载 docker-compose.yml

依次执行下面命令，创建 FastGPT 文件并拉取docker-compose.yml和config.json，执行完后目录下会有 2 个文件。

非 Linux 环境或无法访问外网环境，可手动创建一个目录，并下载下面2个链接的文件: docker-compose.yml,config.json

注意: docker-compose.yml 配置文件中 Mongo 为 5.x，部分服务器不支持，需手动更改其镜像版本为 4.4.24

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

三、修改 docker-compose.yml 的环境变量

修改docker-compose.yml中的OPENAI_BASE_URL（API 接口的地址，需要加/v1）和CHAT_API_KEY（API 接口的凭证）。

使用 OneAPI 的话，OPENAI_BASE_URL=OneAPI访问地址/v1；CHAT_API_KEY=令牌

四、启动容器

在 docker-compose.yml 同级目录下执行

# 进入项目目录
cd 项目目录
# 创建 mongo 密钥
openssl rand -base64 756 > ./mongodb.key
# 600不行可以用chmod 999
chmod 600 ./mongodb.key
chown 999:root ./mongodb.key
# 启动容器
docker-compose pull
docker-compose up -d

五、初始化 Mongo 副本集(4.6.8以前可忽略)

FastGPT 4.6.8 后使用了 MongoDB 的事务，需要运行在副本集上。副本集没法自动化初始化，需手动操作。

# 查看 mongo 容器是否正常运行
docker ps
# 进入容器
docker exec -it mongo bash

# 连接数据库
mongo -u myname -p mypassword --authenticationDatabase admin

# 初始化副本集。如果需要外网访问，mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

五、访问 FastGPT

目前可以通过 ip:3000 直接访问(注意防火墙)。登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。

如果需要域名访问，请自行安装并配置 Nginx。

one-api部署国内大模型

项目地址：https://github.com/songquanpeng/one-api

docker部署one api
在终端中输入相关命令
项目中的3000端口被占用，需要重新设定一个端口映射

docker run --name one-api -d --restart always -p 13000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

命令详解

docker run: 这是 Docker 的主要命令之一，用于创建并启动一个新的容器。
–name one-api: 这个选项为即将运行的容器设置一个名字，这里名字被设为 one-api。这样做可以更容易地识别和引用容器。
-d: 这个选项表示容器将在“分离模式”下运行，意味着它会在后台运行。
–restart always: 这指定了容器的重启策略。在这里，always 意味着如果容器停止（无论是由于错误还是由于任何其他原因），它将自动重启。
-p 13000:3000: 这是端口映射。此设置将容器内的 3000 端口映射到宿主机的 13000 端口。这意味着宿主机的 13000 端口上的流量将被转发到容器的 3000 端口。
-e TZ=Asia/Shanghai: 这个选项设置了一个环境变量。在这里，它设置了容器的时区为 Asia/Shanghai。
-v /home/ubuntu/data/one-api:/data: 这是一个卷挂载。它将宿主机的 /home/ubuntu/data/one-api 目录挂载到容器内的 /data 目录。这允许在容器和宿主机之间共享数据。
justsong/one-api: 这是要运行的 Docker 镜像的名称。在这个例子中，它将从 Docker Hub（或者其他配置的注册中心）拉取名为 justsong/one-api 的镜像。

2.登入one api
根据设定的端口，在浏览器内输入localhost:13000

默认账号：root
默认密码：123456
第一次登陆需要重新设置8位密码。

3.创建渠道和令牌
添加新的渠道

在这里插入图片描述

阿里云的api-key

模型服务灵积-API-KEY管理 (aliyun.com)

在这里插入图片描述

添加令牌

在这里插入图片描述

4.修改FastGPT内配置文件
config.json

“chatModels”: [
…
{
“model”: “qwen-turbo”,
“name”: “通义千问”,
“maxContext”: 8000,
“maxResponse”: 4000,
“quoteMaxToken”: 2000,
“maxTemperature”: 1,
“vision”: false,
“defaultSystemChatPrompt”: “”
}
…
]

docker-compose.yml

# base_url为ip地址:13000
  - OPENAI_BASE_URL=http://*******:13000/v1
# api-key点击令牌复制的key
  - CHAT_API_KEY=sk-7s1VO4aKfcEkfgQ3Fd35Bf10C60244799c88Ae40Ca98FdF0

修改完成后执行指令

docker-compose pull
docker-compose up -d