Ollama: otvoreni AI modeli na vašem serveru
Jezički modeli koji rade na procesoru i memoriji samog servera, uz veb čet za razgovor sa njima, tako da se upiti ne šalju spoljnom API-ju.
O aplikaciji Ollama
Ollama je alat otvorenog koda za preuzimanje i pokretanje jezičkih modela sa otvorenim težinama jednom komandom. Njegova biblioteka obuhvata porodice modela kao što su Llama, Gemma, Mistral, Qwen i DeepSeek u nekoliko veličina, a nudi i jednostavan HTTP API koji druge aplikacije mogu da pozivaju.
Programeri ga koriste za prototipove funkcija bez troškova po tokenu, a kompanije kada tekst ne sme da napusti njihovu infrastrukturu, na primer interna dokumenta ili podaci klijenata.
Kada radi na serveru umesto na laptopu, modeli su u svako doba dostupni celom timu i vašim aplikacijama. Cena toga je hardver: veličinu modela ograničava memorija servera, a brzina generisanja zavisi od procesora. Modeli se čuvaju kao fajlovi na disku, pa i veličina diska ograničava koliko ih možete držati.
Za šta se koristi
Čet koji ne šalje podatke napolje
Postavljajte pitanja o osetljivim tekstovima u četu u pregledaču, znajući da se upit obrađuje na vašem serveru.
Model iza vaše aplikacije
Pozivajte model iz svog bekenda za sažetke, klasifikaciju ili izdvajanje podataka, bez API računa po zahtevu.
Isprobavanje različitih otvorenih modela
Preuzmite nekoliko modela i uporedite kako rešavaju vaše stvarne zadatke pre nego što izaberete jedan.
Posle porudžbine
Ollama se instalira na vaš server pri prvom pokretanju, zajedno sa veb četom na http://adresa-servera:3000/; port 3000 je otvoren u zaštitnom zidu. Prijavite se imejlom i lozinkom prikazanim u Rivervo panelu. Modeli se preuzimaju na serveru: panel prikazuje komandu za to (na primer ollama pull llama3.2), a model se zatim pojavljuje u četu.
Izbor modela za vaš server
Koliko veliki model server može da pokrene zavisi od memorije. Dokumentacija Ollame daje okvirne smernice: najmanje 8 GB RAM-a za modele od 7B, 16 GB za modele od 13B i 32 GB za modele od 33B. Bez GPU-a model radi na procesoru, pa više jezgara znači brže odgovore. Preuzmite model iz komandne linije i on će se pojaviti u Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listVaš domen i HTTPS za Open WebUI
Podrazumevano Open WebUI odgovara na IP adresi servera preko običnog HTTP-a. Da biste mu dali naziv kao što je ai.vasdomen.rs sa sertifikatom, u svom DNS-u kreirajte A zapis za taj naziv koji pokazuje na IPv4 adresu servera, a zatim ispred njega postavite Caddy: Caddy sam pribavlja besplatan Let's Encrypt sertifikat i produžava ga. Komande ispod su za Ubuntu 24.04, na kome rade naši serveri za aplikacije.
U panelu otvorite TCP portove 80 i 443 u zaštitnom zidu servera: Caddy ih koristi da dobije Let's Encrypt sertifikat i da servira sajt.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyKada domen proradi, port 3000 više nikome nije potreban: u /opt/ollama/compose.yml promenite "3000:…" u "127.0.0.1:3000:…", pokrenite docker compose up -d i uklonite port 3000 iz zaštitnog zida. Open WebUI je tada dostupan samo preko HTTPS-a.
Ažuriranje Ollame
Slike u /opt/ollama/compose.yml su vezane za tačne verzije, pa obična komanda docker compose pull ponovo preuzima istu verziju. Za ažuriranje promenite verziju u redu image: na željenu (prvo pročitajte beleške o izdanju), a zatim preuzmite slike i ponovo kreirajte kontejnere. Podaci se nalaze u Docker volumenima i ostaju sačuvani.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dRezervne kopije Ollame
U panelu možete uključiti dnevne rezervne kopije celog servera (+20% cene paketa, čuva se poslednjih 7 kopija) i vratiti server iz bilo koje od njih. Ipak je korisno imati i kopiju podataka same aplikacije u fajlu: može da se prenese na drugi server ili vrati bez vraćanja svega ostalog.
Četovi, korisnici i podešavanja Open WebUI-ja nalaze se u volumenu ollama_open_webui; preuzeti modeli su u ollama_ollama i mogu se jednostavno ponovo preuzeti, pa se obično izostavljaju iz rezervnih kopija fajlova:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startKako funkcioniše
- Izaberite Ollama na stranici za poručivanje servera i paket sa dovoljno memorije.
- Aplikacija se instalira na server pri prvom pokretanju, obično za nekoliko minuta.
- Otvorite server u panelu: tamo su adresa i pristupni podaci.