立即开始
全部 VPS 应用
AI 与智能体

Ollama:在您自己的服务器上运行开源 AI 模型

语言模型使用服务器自身的处理器和内存运行,并配有网页聊天界面,提示词不会发送到外部 API。

订购装有 Ollama 的服务器 查看 VPS 套餐

关于 Ollama

Ollama 是一款开源工具,只需一条命令即可下载并运行开放权重的语言模型。其模型库包含 Llama、Gemma、Mistral、Qwen 和 DeepSeek 等多个模型系列及不同规模,并提供简单的 HTTP API 供其他程序调用。

开发者用它来开发功能原型,无需按 token 付费;企业则在文本不能离开自有基础设施时使用它,例如内部文档或客户数据。

将其部署在服务器而非笔记本电脑上,整个团队和您的应用可以随时使用这些模型。代价在于硬件:模型大小受服务器内存限制,生成速度取决于处理器。模型以文件形式存储在磁盘上,因此磁盘容量也决定了可保存的模型数量。

常见用途

数据不外传的聊天

在浏览器聊天中询问涉及敏感内容的问题,提示词在您的服务器上处理。

为您的应用提供模型

从后端调用模型进行摘要、分类或信息提取,无需按请求支付 API 费用。

试用不同的开源模型

下载多个模型,用您的实际任务进行比较后再做选择。

下单之后

Ollama 会在服务器首次启动时与网页聊天界面一同安装,访问地址为 http://您的服务器地址:3000/;防火墙已开放 3000 端口。请使用 Rivervo 控制面板中显示的邮箱和密码登录。模型需在服务器上下载:控制面板会显示相应命令(例如 ollama pull llama3.2),下载后模型即会出现在聊天界面中。

为服务器选择模型

服务器能运行多大的模型取决于内存。Ollama 文档给出的大致参考为:7B 模型至少需要 8 GB 内存,13B 模型需要 16 GB,33B 模型需要 32 GB。没有 GPU 时模型在处理器上运行,核心越多,响应越快。在命令行中下载模型后,它会出现在 Open WebUI 中:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

为 Open WebUI 配置自有域名和 HTTPS

默认情况下,Open WebUI 通过服务器 IP 地址以普通 HTTP 提供访问。如需使用 ai.example.com 这样的名称并配置证书,请在您的 DNS 中为该名称创建一条指向服务器 IPv4 地址的 A 记录,然后在前面部署 Caddy:Caddy 会自动获取并续期免费的 Let's Encrypt 证书。以下命令适用于我们应用服务器所使用的 Ubuntu 24.04。

在控制面板中,为服务器防火墙开放 TCP 80 和 443 端口:Caddy 需要通过它们获取 Let's Encrypt 证书并提供网站服务。

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

域名可用后,就不再需要直接访问 3000 端口:在 /opt/ollama/compose.yml 中将 "3000:…" 改为 "127.0.0.1:3000:…",运行 docker compose up -d,并从防火墙中移除 3000 端口。此后 Open WebUI 只能通过 HTTPS 访问。

更新 Ollama

/opt/ollama/compose.yml 中的镜像固定为具体版本,因此直接运行 docker compose pull 只会再次拉取相同版本。如需更新,请将 image: 行中的版本改为目标版本(请先阅读发行说明),然后拉取并重新创建容器。数据保存在 Docker 卷中,不会丢失。

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

备份 Ollama

在控制面板中,您可以开启整台服务器的每日备份(套餐价格的 +20%,保留最近 7 份),并可从其中任意一份恢复服务器。不过,仍建议将应用自身的数据另存为文件:这样可以迁移到其他服务器,或在不回滚其他内容的情况下单独恢复。

Open WebUI 的聊天记录、用户和设置保存在 ollama_open_webui 卷中;已下载的模型位于 ollama_ollama,可以重新下载,因此通常不纳入文件备份:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

如何运作

  1. 在服务器订购页面选择 Ollama,并选一个内存足够的套餐。
  2. 服务器首次启动时会自动安装应用,通常几分钟内完成。
  3. 在控制面板中打开服务器:访问地址和登录信息都在那里。

关于 Ollama 的问题

最低配置为 8 GB 内存和 80 GB 磁盘,足以运行几十亿参数的小型模型。模型所需的空闲内存大致等于其文件大小,因此较大的模型需要内存和磁盘更多的套餐。
速度取决于模型大小和服务器的处理器核心数。小型模型的响应速度可以满足日常使用;大型模型明显较慢,建议从小模型开始,仅在质量需要时再升级。
可以,x86 和 ARM 套餐均可使用,对于内存需求高的模型任务,ARM 是一个合理的选择。
Ollama 的 API(11434 端口)未在服务器上对外发布,只能由 Docker 内的 Open WebUI 访问。如需从您自己的代码调用,请将代码部署在同一服务器的同一 Docker 网络中,或将端口发布为 `"127.0.0.1:11434:11434"` 并通过 SSH 隧道访问。请勿向互联网开放:该 API 没有密码保护。
注册功能已关闭(`ENABLE_SIGNUP: "false"`),陌生人无法注册。请在 Open WebUI 的管理面板中自行添加用户。