立即開始
所有 VPS 應用程式
AI 與代理

Ollama:在您自己的伺服器上執行開源 AI 模型

語言模型直接使用伺服器本身的處理器與記憶體執行,並提供網頁聊天介面,提示內容不會傳送到外部 API。

訂購搭載 Ollama 的伺服器 查看 VPS 方案

關於 Ollama

Ollama 是一款開源工具,只需一行指令即可下載並執行開放權重的語言模型。其模型庫包含 Llama、Gemma、Mistral、Qwen 與 DeepSeek 等多種尺寸的模型系列,並提供簡單的 HTTP API 供其他程式呼叫。

開發人員用它來製作功能原型,不必按 token 付費;企業則在文字內容不得離開自家基礎架構時使用它,例如內部文件或客戶資料。

在伺服器而非筆電上執行,代表整個團隊與您的應用程式隨時都能使用這些模型。代價在於硬體:模型大小受伺服器記憶體限制,生成速度則取決於處理器。模型以檔案形式儲存在磁碟上,因此磁碟容量也會限制可保留的模型數量。

常見用途

資料絕不外傳的聊天介面

在瀏覽器聊天介面中詢問敏感內容,提示只會在您的伺服器上處理。

為您的應用程式提供模型

從後端呼叫模型進行摘要、分類或資訊擷取,不必按請求支付 API 費用。

試用不同的開源模型

下載多個模型,先比較它們處理實際工作的表現,再決定採用哪一個。

訂購之後

Ollama 會在伺服器首次啟動時安裝,並附帶網頁聊天介面,網址為 http://your-server-address:3000/;防火牆已開放 3000 埠。請使用 Rivervo 控制台顯示的電子郵件與密碼登入。模型需在伺服器上下載:控制台會顯示對應指令(例如 ollama pull llama3.2),下載完成後模型就會出現在聊天介面中。

為伺服器選擇模型

伺服器能執行多大的模型取決於記憶體。Ollama 文件提供的大致參考為:7B 模型至少需要 8 GB RAM,13B 模型需要 16 GB,33B 模型需要 32 GB。沒有 GPU 時模型會使用處理器執行,核心越多回應越快。在命令列下載模型後,它就會出現在 Open WebUI 中:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

為 Open WebUI 設定自有網域與 HTTPS

Open WebUI 預設以純 HTTP 透過伺服器的 IP 位址提供服務。若要使用 ai.example.com 這類名稱並加上憑證,請在您的 DNS 中為該名稱建立指向伺服器 IPv4 位址的 A 記錄,然後在前面加上 Caddy:Caddy 會自動取得並續約免費的 Let's Encrypt 憑證。以下指令適用於我們應用程式伺服器所使用的 Ubuntu 24.04。

請在控制台中於伺服器防火牆開放 TCP 80 與 443 連接埠:Caddy 需要這兩個連接埠來取得 Let's Encrypt 憑證並提供網站服務。

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

網域生效後就不再需要直接使用 3000 埠:在 /opt/ollama/compose.yml 中將 "3000:…" 改為 "127.0.0.1:3000:…",執行 docker compose up -d,再從防火牆移除 3000 埠。之後 Open WebUI 只能透過 HTTPS 存取。

更新 Ollama

/opt/ollama/compose.yml 中的映像檔已鎖定為特定版本,因此單純執行 docker compose pull 只會再次取得相同版本。若要更新,請將 image: 行中的版本改為您想要的版本(請先閱讀版本說明),然後下載並重新建立容器。資料儲存在 Docker volume 中,會完整保留。

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

備份 Ollama

您可以在控制台中開啟整台伺服器的每日備份(方案價格 +20%,保留最近 7 份),並從任一份備份還原伺服器。另外保留一份應用程式資料的檔案副本仍然值得:它可以搬移到其他伺服器,或在不回復其他所有內容的情況下單獨還原。

Open WebUI 的聊天記錄、使用者與設定位於 ollama_open_webui volume;已下載的模型位於 ollama_ollama,可隨時重新下載,因此通常不納入檔案備份:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

運作方式

  1. 在伺服器訂購頁面選擇 Ollama,並挑選記憶體足夠的方案。
  2. 應用程式會在伺服器首次開機時安裝,通常只需幾分鐘。
  3. 在控制台開啟伺服器:網址與登入資料都在那裡。

關於 Ollama 的問題

最低需求為 8 GB 記憶體與 80 GB 磁碟空間,足以順暢執行數十億參數的小型模型。模型需要大約與其檔案大小相當的可用記憶體,因此較大的模型需要記憶體與磁碟更多的方案。
速度取決於模型大小與伺服器的處理器核心數。小型模型的回應速度足以實際使用;大型模型則明顯較慢,建議先從小模型開始,品質不足時再升級。
可以,x86 與 ARM 方案皆提供,對於需要大量記憶體的模型工作,ARM 是合理的選擇。
Ollama 的 API(11434 埠)未在伺服器上對外公開,只能從 Docker 內的 Open WebUI 存取。若要從您自己的程式碼呼叫,請將程式碼放在同一台伺服器的同一個 Docker 網路中執行,或將連接埠發布為 `"127.0.0.1:11434:11434"` 並使用 SSH 通道。請勿對網際網路開放:它沒有密碼保護。
註冊功能已關閉(`ENABLE_SIGNUP: "false"`),陌生人無法自行註冊。請在 Open WebUI 的管理面板中自行新增使用者。

「AI 與代理」中的其他應用程式