Zacznij
Wszystkie aplikacje na VPS
AI i agenci

Ollama: otwarte modele AI na twoim serwerze

Modele językowe działające na procesorze i pamięci samego serwera, z czatem WWW do rozmowy z nimi — prompty nie trafiają do zewnętrznego API.

Zamów serwer z Ollama Zobacz pakiety VPS

O aplikacji Ollama

Ollama to otwartoźródłowe narzędzie do pobierania i uruchamiania modeli językowych z otwartymi wagami jednym poleceniem. Jego biblioteka obejmuje rodziny modeli takie jak Llama, Gemma, Mistral, Qwen i DeepSeek w kilku rozmiarach, a do tego udostępnia proste API HTTP, które mogą wywoływać inne programy.

Programiści używają go do prototypowania funkcji bez opłat za tokeny, a firmy — gdy tekst nie może opuścić ich infrastruktury, na przykład w przypadku dokumentów wewnętrznych czy danych klientów.

Uruchomienie go na serwerze zamiast na laptopie sprawia, że modele są dostępne dla całego zespołu i twoich aplikacji o każdej porze. Ceną jest sprzęt: rozmiar modelu ogranicza pamięć serwera, a szybkość generowania zależy od jego procesora. Modele są przechowywane jako pliki na dysku, więc rozmiar dysku ogranicza też, ile ich zmieścisz.

Do czego się przydaje

Czat, który nie wysyła danych na zewnątrz

Zadawaj pytania o poufne teksty w czacie w przeglądarce, wiedząc, że prompt jest przetwarzany na twoim serwerze.

Model za twoją aplikacją

Wywołuj model z backendu do podsumowań, klasyfikacji czy wyciągania danych, bez rachunku za API przy każdym zapytaniu.

Testowanie różnych otwartych modeli

Pobierz kilka modeli i porównaj, jak radzą sobie z twoimi prawdziwymi zadaniami, zanim wybierzesz jeden.

Po zamówieniu

Ollama instaluje się na serwerze przy jego pierwszym uruchomieniu razem z czatem WWW pod adresem http://adres-twojego-serwera:3000/; port 3000 jest otwarty w firewallu. Zaloguj się e-mailem i hasłem widocznymi w panelu Rivervo. Modele pobiera się na serwerze: panel pokazuje polecenie do tego (na przykład ollama pull llama3.2), a model pojawia się potem w czacie.

Wybór modelu dla twojego serwera

To, jak duży model uciągnie serwer, zależy od pamięci. Dokumentacja Ollama podaje orientacyjnie: co najmniej 8 GB RAM dla modeli 7B, 16 GB dla modeli 13B i 32 GB dla modeli 33B. Bez GPU model działa na procesorze, więc więcej rdzeni oznacza szybsze odpowiedzi. Pobierz model z powłoki, a potem pojawi się w Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Własna domena i HTTPS dla Open WebUI

Po instalacji Open WebUI odpowiada na adresie IP serwera przez zwykłe HTTP. Żeby nadać mu nazwę, na przykład ai.example.com, z certyfikatem, utwórz w swoim DNS rekord A dla tej nazwy wskazujący na adres IPv4 serwera, a potem postaw przed nim Caddy: Caddy sam uzyskuje darmowy certyfikat Let's Encrypt i go odnawia. Poniższe polecenia są dla Ubuntu 24.04, na którym działają nasze serwery aplikacji.

W panelu otwórz porty TCP 80 i 443 w firewallu serwera: Caddy potrzebuje ich, żeby uzyskać certyfikat Let's Encrypt i serwować stronę.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Gdy domena działa, nikt już nie potrzebuje gołego portu 3000: w /opt/ollama/compose.yml zmień "3000:…" na "127.0.0.1:3000:…", uruchom docker compose up -d i usuń port 3000 z firewalla. Wtedy Open WebUI jest dostępne wyłącznie przez HTTPS.

Aktualizacja Ollama

Obrazy w /opt/ollama/compose.yml są przypięte do konkretnych wersji, więc samo docker compose pull pobierze ponownie tę samą wersję. Żeby zaktualizować, zmień wersję w linii image: na wybraną (najpierw przeczytaj informacje o wydaniu), a potem pobierz obrazy i utwórz kontenery od nowa. Dane są w wolumenach Dockera i zostają.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Kopia zapasowa Ollama

W panelu możesz włączyć codzienne kopie zapasowe całego serwera (+20% ceny pakietu, przechowywane są ostatnie 7 kopii) i przywrócić serwer z dowolnej z nich. Mimo to warto mieć kopię danych samej aplikacji w pliku: można ją przenieść na inny serwer albo przywrócić bez cofania wszystkiego innego.

Czaty, użytkownicy i ustawienia Open WebUI są w wolumenie ollama_open_webui; pobrane modele są w ollama_ollama i można je po prostu pobrać ponownie, więc zwykle pomija się je w kopiach plików:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Jak to działa

  1. Wybierz Ollama na stronie zamówienia serwera i pakiet z wystarczającą ilością pamięci.
  2. Aplikacja instaluje się na serwerze przy pierwszym uruchomieniu, zwykle w ciągu kilku minut.
  3. Otwórz serwer w panelu: znajdziesz tam adres i dane logowania.

Pytania o Ollama

Minimum to 8 GB pamięci RAM i 80 GB dysku, co spokojnie mieści małe modele o kilku miliardach parametrów. Model potrzebuje mniej więcej tyle wolnej pamięci, ile zajmuje jego plik, więc większe modele wymagają pakietu z większą ilością pamięci i dysku.
Szybkość zależy od rozmiaru modelu i liczby rdzeni procesora serwera. Małe modele odpowiadają w używalnym tempie, duże są wyraźnie wolniejsze, więc zacznij od małego i przechodź na większy tylko wtedy, gdy wymaga tego jakość.
Tak, jest dostępna zarówno w pakietach x86, jak i ARM, co sprawia, że ARM jest rozsądną opcją do pracy z modelami wymagającymi dużo pamięci.
API Ollama (port 11434) nie jest wystawione na serwerze — dostęp do niego ma tylko Open WebUI wewnątrz Dockera. Żeby wywoływać je z własnego kodu, uruchom ten kod na tym samym serwerze w tej samej sieci Dockera albo opublikuj port jako `"127.0.0.1:11434:11434"` i użyj tunelu SSH. Nie otwieraj go na internet: nie ma hasła.
Rejestracja jest wyłączona (`ENABLE_SIGNUP: "false"`), więc obcy nie mogą założyć konta. Użytkowników dodajesz sam w panelu administracyjnym Open WebUI.