Ollama: otwarte modele AI na twoim serwerze
Modele językowe działające na procesorze i pamięci samego serwera, z czatem WWW do rozmowy z nimi — prompty nie trafiają do zewnętrznego API.
O aplikacji Ollama
Ollama to otwartoźródłowe narzędzie do pobierania i uruchamiania modeli językowych z otwartymi wagami jednym poleceniem. Jego biblioteka obejmuje rodziny modeli takie jak Llama, Gemma, Mistral, Qwen i DeepSeek w kilku rozmiarach, a do tego udostępnia proste API HTTP, które mogą wywoływać inne programy.
Programiści używają go do prototypowania funkcji bez opłat za tokeny, a firmy — gdy tekst nie może opuścić ich infrastruktury, na przykład w przypadku dokumentów wewnętrznych czy danych klientów.
Uruchomienie go na serwerze zamiast na laptopie sprawia, że modele są dostępne dla całego zespołu i twoich aplikacji o każdej porze. Ceną jest sprzęt: rozmiar modelu ogranicza pamięć serwera, a szybkość generowania zależy od jego procesora. Modele są przechowywane jako pliki na dysku, więc rozmiar dysku ogranicza też, ile ich zmieścisz.
Do czego się przydaje
Czat, który nie wysyła danych na zewnątrz
Zadawaj pytania o poufne teksty w czacie w przeglądarce, wiedząc, że prompt jest przetwarzany na twoim serwerze.
Model za twoją aplikacją
Wywołuj model z backendu do podsumowań, klasyfikacji czy wyciągania danych, bez rachunku za API przy każdym zapytaniu.
Testowanie różnych otwartych modeli
Pobierz kilka modeli i porównaj, jak radzą sobie z twoimi prawdziwymi zadaniami, zanim wybierzesz jeden.
Po zamówieniu
Ollama instaluje się na serwerze przy jego pierwszym uruchomieniu razem z czatem WWW pod adresem http://adres-twojego-serwera:3000/; port 3000 jest otwarty w firewallu. Zaloguj się e-mailem i hasłem widocznymi w panelu Rivervo. Modele pobiera się na serwerze: panel pokazuje polecenie do tego (na przykład ollama pull llama3.2), a model pojawia się potem w czacie.
Wybór modelu dla twojego serwera
To, jak duży model uciągnie serwer, zależy od pamięci. Dokumentacja Ollama podaje orientacyjnie: co najmniej 8 GB RAM dla modeli 7B, 16 GB dla modeli 13B i 32 GB dla modeli 33B. Bez GPU model działa na procesorze, więc więcej rdzeni oznacza szybsze odpowiedzi. Pobierz model z powłoki, a potem pojawi się w Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listWłasna domena i HTTPS dla Open WebUI
Po instalacji Open WebUI odpowiada na adresie IP serwera przez zwykłe HTTP. Żeby nadać mu nazwę, na przykład ai.example.com, z certyfikatem, utwórz w swoim DNS rekord A dla tej nazwy wskazujący na adres IPv4 serwera, a potem postaw przed nim Caddy: Caddy sam uzyskuje darmowy certyfikat Let's Encrypt i go odnawia. Poniższe polecenia są dla Ubuntu 24.04, na którym działają nasze serwery aplikacji.
W panelu otwórz porty TCP 80 i 443 w firewallu serwera: Caddy potrzebuje ich, żeby uzyskać certyfikat Let's Encrypt i serwować stronę.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyGdy domena działa, nikt już nie potrzebuje gołego portu 3000: w /opt/ollama/compose.yml zmień "3000:…" na "127.0.0.1:3000:…", uruchom docker compose up -d i usuń port 3000 z firewalla. Wtedy Open WebUI jest dostępne wyłącznie przez HTTPS.
Aktualizacja Ollama
Obrazy w /opt/ollama/compose.yml są przypięte do konkretnych wersji, więc samo docker compose pull pobierze ponownie tę samą wersję. Żeby zaktualizować, zmień wersję w linii image: na wybraną (najpierw przeczytaj informacje o wydaniu), a potem pobierz obrazy i utwórz kontenery od nowa. Dane są w wolumenach Dockera i zostają.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dKopia zapasowa Ollama
W panelu możesz włączyć codzienne kopie zapasowe całego serwera (+20% ceny pakietu, przechowywane są ostatnie 7 kopii) i przywrócić serwer z dowolnej z nich. Mimo to warto mieć kopię danych samej aplikacji w pliku: można ją przenieść na inny serwer albo przywrócić bez cofania wszystkiego innego.
Czaty, użytkownicy i ustawienia Open WebUI są w wolumenie ollama_open_webui; pobrane modele są w ollama_ollama i można je po prostu pobrać ponownie, więc zwykle pomija się je w kopiach plików:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startJak to działa
- Wybierz Ollama na stronie zamówienia serwera i pakiet z wystarczającą ilością pamięci.
- Aplikacja instaluje się na serwerze przy pierwszym uruchomieniu, zwykle w ciągu kilku minut.
- Otwórz serwer w panelu: znajdziesz tam adres i dane logowania.