关于 Ollama
Ollama 是一款开源工具,只需一条命令即可下载并运行开放权重的语言模型。其模型库包含 Llama、Gemma、Mistral、Qwen 和 DeepSeek 等多个模型系列及不同规模,并提供简单的 HTTP API 供其他程序调用。
开发者用它来开发功能原型,无需按 token 付费;企业则在文本不能离开自有基础设施时使用它,例如内部文档或客户数据。
将其部署在服务器而非笔记本电脑上,整个团队和您的应用可以随时使用这些模型。代价在于硬件:模型大小受服务器内存限制,生成速度取决于处理器。模型以文件形式存储在磁盘上,因此磁盘容量也决定了可保存的模型数量。
常见用途
数据不外传的聊天
在浏览器聊天中询问涉及敏感内容的问题,提示词在您的服务器上处理。
为您的应用提供模型
从后端调用模型进行摘要、分类或信息提取,无需按请求支付 API 费用。
试用不同的开源模型
下载多个模型,用您的实际任务进行比较后再做选择。
下单之后
Ollama 会在服务器首次启动时与网页聊天界面一同安装,访问地址为 http://您的服务器地址:3000/;防火墙已开放 3000 端口。请使用 Rivervo 控制面板中显示的邮箱和密码登录。模型需在服务器上下载:控制面板会显示相应命令(例如 ollama pull llama3.2),下载后模型即会出现在聊天界面中。
为服务器选择模型
服务器能运行多大的模型取决于内存。Ollama 文档给出的大致参考为:7B 模型至少需要 8 GB 内存,13B 模型需要 16 GB,33B 模型需要 32 GB。没有 GPU 时模型在处理器上运行,核心越多,响应越快。在命令行中下载模型后,它会出现在 Open WebUI 中:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama list为 Open WebUI 配置自有域名和 HTTPS
默认情况下,Open WebUI 通过服务器 IP 地址以普通 HTTP 提供访问。如需使用 ai.example.com 这样的名称并配置证书,请在您的 DNS 中为该名称创建一条指向服务器 IPv4 地址的 A 记录,然后在前面部署 Caddy:Caddy 会自动获取并续期免费的 Let's Encrypt 证书。以下命令适用于我们应用服务器所使用的 Ubuntu 24.04。
在控制面板中,为服务器防火墙开放 TCP 80 和 443 端口:Caddy 需要通过它们获取 Let's Encrypt 证书并提供网站服务。
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy域名可用后,就不再需要直接访问 3000 端口:在 /opt/ollama/compose.yml 中将 "3000:…" 改为 "127.0.0.1:3000:…",运行 docker compose up -d,并从防火墙中移除 3000 端口。此后 Open WebUI 只能通过 HTTPS 访问。
更新 Ollama
/opt/ollama/compose.yml 中的镜像固定为具体版本,因此直接运行 docker compose pull 只会再次拉取相同版本。如需更新,请将 image: 行中的版本改为目标版本(请先阅读发行说明),然后拉取并重新创建容器。数据保存在 Docker 卷中,不会丢失。
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -d备份 Ollama
在控制面板中,您可以开启整台服务器的每日备份(套餐价格的 +20%,保留最近 7 份),并可从其中任意一份恢复服务器。不过,仍建议将应用自身的数据另存为文件:这样可以迁移到其他服务器,或在不回滚其他内容的情况下单独恢复。
Open WebUI 的聊天记录、用户和设置保存在 ollama_open_webui 卷中;已下载的模型位于 ollama_ollama,可以重新下载,因此通常不纳入文件备份:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start如何运作
- 在服务器订购页面选择 Ollama,并选一个内存足够的套餐。
- 服务器首次启动时会自动安装应用,通常几分钟内完成。
- 在控制面板中打开服务器:访问地址和登录信息都在那里。