Započnite
Sve VPS aplikacije
AI i agenti

Ollama: otvoreni AI modeli na vašem serveru

Jezički modeli koji rade na procesoru i memoriji samog servera, uz veb čet za razgovor sa njima, tako da se upiti ne šalju spoljnom API-ju.

Poručite server sa aplikacijom Ollama Pogledajte VPS pakete

O aplikaciji Ollama

Ollama je alat otvorenog koda za preuzimanje i pokretanje jezičkih modela sa otvorenim težinama jednom komandom. Njegova biblioteka obuhvata porodice modela kao što su Llama, Gemma, Mistral, Qwen i DeepSeek u nekoliko veličina, a nudi i jednostavan HTTP API koji druge aplikacije mogu da pozivaju.

Programeri ga koriste za prototipove funkcija bez troškova po tokenu, a kompanije kada tekst ne sme da napusti njihovu infrastrukturu, na primer interna dokumenta ili podaci klijenata.

Kada radi na serveru umesto na laptopu, modeli su u svako doba dostupni celom timu i vašim aplikacijama. Cena toga je hardver: veličinu modela ograničava memorija servera, a brzina generisanja zavisi od procesora. Modeli se čuvaju kao fajlovi na disku, pa i veličina diska ograničava koliko ih možete držati.

Za šta se koristi

Čet koji ne šalje podatke napolje

Postavljajte pitanja o osetljivim tekstovima u četu u pregledaču, znajući da se upit obrađuje na vašem serveru.

Model iza vaše aplikacije

Pozivajte model iz svog bekenda za sažetke, klasifikaciju ili izdvajanje podataka, bez API računa po zahtevu.

Isprobavanje različitih otvorenih modela

Preuzmite nekoliko modela i uporedite kako rešavaju vaše stvarne zadatke pre nego što izaberete jedan.

Posle porudžbine

Ollama se instalira na vaš server pri prvom pokretanju, zajedno sa veb četom na http://adresa-servera:3000/; port 3000 je otvoren u zaštitnom zidu. Prijavite se imejlom i lozinkom prikazanim u Rivervo panelu. Modeli se preuzimaju na serveru: panel prikazuje komandu za to (na primer ollama pull llama3.2), a model se zatim pojavljuje u četu.

Izbor modela za vaš server

Koliko veliki model server može da pokrene zavisi od memorije. Dokumentacija Ollame daje okvirne smernice: najmanje 8 GB RAM-a za modele od 7B, 16 GB za modele od 13B i 32 GB za modele od 33B. Bez GPU-a model radi na procesoru, pa više jezgara znači brže odgovore. Preuzmite model iz komandne linije i on će se pojaviti u Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Vaš domen i HTTPS za Open WebUI

Podrazumevano Open WebUI odgovara na IP adresi servera preko običnog HTTP-a. Da biste mu dali naziv kao što je ai.vasdomen.rs sa sertifikatom, u svom DNS-u kreirajte A zapis za taj naziv koji pokazuje na IPv4 adresu servera, a zatim ispred njega postavite Caddy: Caddy sam pribavlja besplatan Let's Encrypt sertifikat i produžava ga. Komande ispod su za Ubuntu 24.04, na kome rade naši serveri za aplikacije.

U panelu otvorite TCP portove 80 i 443 u zaštitnom zidu servera: Caddy ih koristi da dobije Let's Encrypt sertifikat i da servira sajt.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Kada domen proradi, port 3000 više nikome nije potreban: u /opt/ollama/compose.yml promenite "3000:…" u "127.0.0.1:3000:…", pokrenite docker compose up -d i uklonite port 3000 iz zaštitnog zida. Open WebUI je tada dostupan samo preko HTTPS-a.

Ažuriranje Ollame

Slike u /opt/ollama/compose.yml su vezane za tačne verzije, pa obična komanda docker compose pull ponovo preuzima istu verziju. Za ažuriranje promenite verziju u redu image: na željenu (prvo pročitajte beleške o izdanju), a zatim preuzmite slike i ponovo kreirajte kontejnere. Podaci se nalaze u Docker volumenima i ostaju sačuvani.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Rezervne kopije Ollame

U panelu možete uključiti dnevne rezervne kopije celog servera (+20% cene paketa, čuva se poslednjih 7 kopija) i vratiti server iz bilo koje od njih. Ipak je korisno imati i kopiju podataka same aplikacije u fajlu: može da se prenese na drugi server ili vrati bez vraćanja svega ostalog.

Četovi, korisnici i podešavanja Open WebUI-ja nalaze se u volumenu ollama_open_webui; preuzeti modeli su u ollama_ollama i mogu se jednostavno ponovo preuzeti, pa se obično izostavljaju iz rezervnih kopija fajlova:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Kako funkcioniše

  1. Izaberite Ollama na stranici za poručivanje servera i paket sa dovoljno memorije.
  2. Aplikacija se instalira na server pri prvom pokretanju, obično za nekoliko minuta.
  3. Otvorite server u panelu: tamo su adresa i pristupni podaci.

Pitanja o aplikaciji Ollama

Minimum je 8 GB memorije i 80 GB diska, što je sasvim dovoljno za male modele od nekoliko milijardi parametara. Model zahteva otprilike onoliko slobodne memorije kolika je veličina njegovog fajla, pa je za veće modele potreban paket sa više memorije i diska.
Brzina zavisi od veličine modela i broja jezgara procesora servera. Mali modeli odgovaraju upotrebljivom brzinom, a veliki su primetno sporiji, pa počnite sa malim i pređite na veći samo ako kvalitet to zahteva.
Da, dostupna je i na x86 i na ARM paketima, pa je ARM razuman izbor za rad sa modelima koji traže mnogo memorije.
API Ollame (port 11434) nije objavljen na serveru, dostupan je samo iz Open WebUI-ja unutar Docker-a. Da biste ga pozivali iz svog koda, pokrenite taj kod na istom serveru u istoj Docker mreži ili objavite port kao `"127.0.0.1:11434:11434"` i koristite SSH tunel. Ne otvarajte ga ka internetu: nema lozinku.
Registracija je isključena (`ENABLE_SIGNUP: "false"`), pa nepoznati ljudi ne mogu da se registruju. Korisnike dodajete sami u administratorskom panelu Open WebUI-ja.

Druge aplikacije u kategoriji AI i agenti