關於 Ollama
Ollama 是一款開源工具,只需一行指令即可下載並執行開放權重的語言模型。其模型庫包含 Llama、Gemma、Mistral、Qwen 與 DeepSeek 等多種尺寸的模型系列,並提供簡單的 HTTP API 供其他程式呼叫。
開發人員用它來製作功能原型,不必按 token 付費;企業則在文字內容不得離開自家基礎架構時使用它,例如內部文件或客戶資料。
在伺服器而非筆電上執行,代表整個團隊與您的應用程式隨時都能使用這些模型。代價在於硬體:模型大小受伺服器記憶體限制,生成速度則取決於處理器。模型以檔案形式儲存在磁碟上,因此磁碟容量也會限制可保留的模型數量。
常見用途
資料絕不外傳的聊天介面
在瀏覽器聊天介面中詢問敏感內容,提示只會在您的伺服器上處理。
為您的應用程式提供模型
從後端呼叫模型進行摘要、分類或資訊擷取,不必按請求支付 API 費用。
試用不同的開源模型
下載多個模型,先比較它們處理實際工作的表現,再決定採用哪一個。
訂購之後
Ollama 會在伺服器首次啟動時安裝,並附帶網頁聊天介面,網址為 http://your-server-address:3000/;防火牆已開放 3000 埠。請使用 Rivervo 控制台顯示的電子郵件與密碼登入。模型需在伺服器上下載:控制台會顯示對應指令(例如 ollama pull llama3.2),下載完成後模型就會出現在聊天介面中。
為伺服器選擇模型
伺服器能執行多大的模型取決於記憶體。Ollama 文件提供的大致參考為:7B 模型至少需要 8 GB RAM,13B 模型需要 16 GB,33B 模型需要 32 GB。沒有 GPU 時模型會使用處理器執行,核心越多回應越快。在命令列下載模型後,它就會出現在 Open WebUI 中:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama list為 Open WebUI 設定自有網域與 HTTPS
Open WebUI 預設以純 HTTP 透過伺服器的 IP 位址提供服務。若要使用 ai.example.com 這類名稱並加上憑證,請在您的 DNS 中為該名稱建立指向伺服器 IPv4 位址的 A 記錄,然後在前面加上 Caddy:Caddy 會自動取得並續約免費的 Let's Encrypt 憑證。以下指令適用於我們應用程式伺服器所使用的 Ubuntu 24.04。
請在控制台中於伺服器防火牆開放 TCP 80 與 443 連接埠:Caddy 需要這兩個連接埠來取得 Let's Encrypt 憑證並提供網站服務。
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy網域生效後就不再需要直接使用 3000 埠:在 /opt/ollama/compose.yml 中將 "3000:…" 改為 "127.0.0.1:3000:…",執行 docker compose up -d,再從防火牆移除 3000 埠。之後 Open WebUI 只能透過 HTTPS 存取。
更新 Ollama
/opt/ollama/compose.yml 中的映像檔已鎖定為特定版本,因此單純執行 docker compose pull 只會再次取得相同版本。若要更新,請將 image: 行中的版本改為您想要的版本(請先閱讀版本說明),然後下載並重新建立容器。資料儲存在 Docker volume 中,會完整保留。
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -d備份 Ollama
您可以在控制台中開啟整台伺服器的每日備份(方案價格 +20%,保留最近 7 份),並從任一份備份還原伺服器。另外保留一份應用程式資料的檔案副本仍然值得:它可以搬移到其他伺服器,或在不回復其他所有內容的情況下單獨還原。
Open WebUI 的聊天記錄、使用者與設定位於 ollama_open_webui volume;已下載的模型位於 ollama_ollama,可隨時重新下載,因此通常不納入檔案備份:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start運作方式
- 在伺服器訂購頁面選擇 Ollama,並挑選記憶體足夠的方案。
- 應用程式會在伺服器首次開機時安裝,通常只需幾分鐘。
- 在控制台開啟伺服器:網址與登入資料都在那裡。