Započnite
Sve VPS aplikacije
AI i agenti

Ollama: otvoreni AI modeli na vašem serveru

Jezični modeli koji rade na procesoru i memoriji samog servera, s web chatom za razgovor, pa se upiti ne šalju vanjskom API-ju.

Naručite server s aplikacijom Ollama Pogledajte VPS pakete

O aplikaciji Ollama

Ollama je alat otvorenog koda za preuzimanje i pokretanje jezičnih modela s otvorenim težinama jednom naredbom. Njezina biblioteka uključuje obitelji modela kao što su Llama, Gemma, Mistral, Qwen i DeepSeek u više veličina, a nudi i jednostavan HTTP API koji mogu pozivati drugi programi.

Programeri je koriste za izradu prototipova bez troška po tokenu, a tvrtke kad tekst ne smije napustiti njihovu infrastrukturu, primjerice interni dokumenti ili podaci o klijentima.

Kad radi na serveru umjesto na laptopu, modeli su dostupni cijelom timu i vašim aplikacijama u bilo koje doba. Cijena toga je hardver: veličinu modela ograničava memorija servera, a brzinu generiranja njegov procesor. Modeli se spremaju kao datoteke na disk, pa veličina diska ograničava i koliko ih možete držati.

Za što se koristi

Chat koji podatke nikamo ne šalje

Postavljajte pitanja o osjetljivom tekstu u chatu u pregledniku, znajući da se upit obrađuje na vašem serveru.

Model iza vaše aplikacije

Pozivajte model iz svog backenda za sažetke, klasifikaciju ili izdvajanje podataka, bez API računa po zahtjevu.

Isprobavanje različitih otvorenih modela

Preuzmite nekoliko modela i usporedite kako rješavaju vaše stvarne zadatke prije nego što odaberete jedan.

Nakon narudžbe

Ollama se instalira na vaš server pri prvom pokretanju zajedno s web chatom na http://adresa-servera:3000/; port 3000 otvoren je u vatrozidu. Prijavite se e-mail adresom i lozinkom prikazanima u Rivervo panelu. Modeli se preuzimaju na serveru: panel prikazuje naredbu za to (primjerice ollama pull llama3.2), nakon čega se model pojavljuje u chatu.

Odabir modela za vaš server

Koliko velik model server može pokrenuti ovisi o memoriji. Dokumentacija Ollame daje okvirne smjernice: najmanje 8 GB RAM-a za modele od 7B, 16 GB za modele od 13B i 32 GB za modele od 33B. Bez GPU-a model radi na procesoru, pa više jezgri znači brže odgovore. Preuzmite model iz ljuske, nakon čega se pojavljuje u Open WebUI-ju:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Vlastita domena i HTTPS za Open WebUI

Open WebUI prema zadanim postavkama odgovara na IP adresi servera preko običnog HTTP-a. Da biste mu dali naziv poput ai.example.com s certifikatom, u svom DNS-u stvorite A zapis za taj naziv koji pokazuje na IPv4 adresu servera, a zatim ispred njega postavite Caddy: Caddy sam pribavlja besplatan Let's Encrypt certifikat i obnavlja ga. Naredbe u nastavku namijenjene su Ubuntu 24.04 na kojem rade naši serveri za aplikacije.

U panelu otvorite TCP portove 80 i 443 u vatrozidu servera: Caddyju trebaju za dobivanje Let's Encrypt certifikata i posluživanje stranice.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Kad domena proradi, izravan port 3000 više nikome ne treba: u /opt/ollama/compose.yml promijenite "3000:…" u "127.0.0.1:3000:…", pokrenite docker compose up -d i uklonite port 3000 iz vatrozida. Open WebUI tada je dostupan samo preko HTTPS-a.

Ažuriranje Ollame

Slike u /opt/ollama/compose.yml vezane su uz točne verzije, pa običan docker compose pull ponovno preuzima istu verziju. Za ažuriranje u retku image: upišite željenu verziju (najprije pročitajte bilješke o izdanju), zatim preuzmite slike i ponovno stvorite kontejnere. Podaci su u Docker volumenima i ostaju sačuvani.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Sigurnosne kopije Ollame

U panelu možete uključiti dnevne sigurnosne kopije cijelog servera (+20 % cijene paketa, čuva se zadnjih 7 kopija) i vratiti server iz bilo koje od njih. Kopiju vlastitih podataka aplikacije u datoteci ipak je dobro imati: može se premjestiti na drugi server ili vratiti bez vraćanja svega ostalog.

Razgovori, korisnici i postavke Open WebUI-ja nalaze se u volumenu ollama_open_webui; preuzeti modeli su u ollama_ollama i mogu se jednostavno ponovno preuzeti, pa ih se obično ne uključuje u sigurnosne kopije datoteka:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Kako to radi

  1. Na stranici za narudžbu servera odaberite Ollama i paket s dovoljno memorije.
  2. Aplikacija se instalira na server pri prvom pokretanju, obično za nekoliko minuta.
  3. Otvorite server u svom panelu: ondje su adresa i podaci za prijavu.

Pitanja o aplikaciji Ollama

Minimum je 8 GB memorije i 80 GB diska, što je udobno dovoljno za male modele od nekoliko milijardi parametara. Model treba otprilike onoliko slobodne memorije kolika mu je datoteka, pa veći modeli traže paket s više memorije i diska.
Brzina ovisi o veličini modela i broju jezgri procesora servera. Mali modeli odgovaraju upotrebljivom brzinom, veliki su osjetno sporiji, pa počnite s malim i prijeđite na veći samo ako to kvaliteta zahtijeva.
Da, dostupna je i na x86 i na ARM paketima, pa je ARM razumna opcija za rad s modelima koji troše puno memorije.
API Ollame (port 11434) nije objavljen na serveru, dostupan je samo Open WebUI-ju unutar Dockera. Da biste ga pozivali iz vlastitog koda, pokrenite taj kod na istom serveru u istoj Docker mreži ili objavite port kao `"127.0.0.1:11434:11434"` i koristite SSH tunel. Ne otvarajte ga prema internetu: nema lozinku.
Registracija je isključena (`ENABLE_SIGNUP: "false"`), pa se nepoznati ljudi ne mogu registrirati. Korisnike dodajte sami u administratorskom panelu Open WebUI-ja.

Ostale aplikacije u kategoriji AI i agenti