Ollama: otvorené AI modely na vlastnom serveri
Jazykové modely, ktoré bežia na procesore a v pamäti servera, s webovým chatom na komunikáciu. Prompty sa neposielajú do externého API.
O aplikácii Ollama
Ollama je open-source nástroj na stiahnutie a spustenie jazykových modelov s otvorenými váhami jedným príkazom. Jeho knižnica obsahuje rodiny modelov ako Llama, Gemma, Mistral, Qwen a DeepSeek vo viacerých veľkostiach a poskytuje jednoduché HTTP API, ktoré môžu volať iné programy.
Vývojári ho používajú na prototypovanie funkcií bez poplatkov za tokeny a firmy vtedy, keď text nesmie opustiť ich vlastnú infraštruktúru, napríklad pri interných dokumentoch alebo údajoch zákazníkov.
Na serveri, na rozdiel od notebooku, sú modely kedykoľvek k dispozícii celému tímu aj vašim aplikáciám. Daňou je hardvér: veľkosť modelu obmedzuje pamäť servera a rýchlosť generovania závisí od jeho procesora. Modely sa ukladajú ako súbory na disk, takže aj veľkosť disku obmedzuje, koľko ich môžete mať.
Na čo ju ľudia používajú
Chat, ktorý nikam neposiela údaje
Pýtajte sa na citlivé texty v chate v prehliadači s istotou, že prompt sa spracuje na vašom serveri.
Model za vašou vlastnou aplikáciou
Volajte model z backendu na zhrnutia, klasifikáciu alebo extrakciu údajov – bez účtu za API pri každej požiadavke.
Skúšanie rôznych otvorených modelov
Stiahnite si niekoľko modelov a porovnajte, ako zvládajú vaše reálne úlohy, skôr než si jeden vyberiete.
Po objednaní
Ollama sa nainštaluje na váš server pri prvom spustení spolu s webovým chatom na http://adresa-servera:3000/; port 3000 je vo firewalle otvorený. Prihláste sa e-mailom a heslom, ktoré nájdete v paneli Rivervo. Modely sa sťahujú na serveri: panel ukazuje príslušný príkaz (napríklad ollama pull llama3.2) a model sa potom objaví v chate.
Výber modelu pre váš server
Aký veľký model server zvládne, závisí od pamäte. Dokumentácia Ollama uvádza orientačne: aspoň 8 GB RAM pre modely 7B, 16 GB pre modely 13B a 32 GB pre modely 33B. Bez GPU model beží na procesore, takže viac jadier znamená rýchlejšie odpovede. Model stiahnite v termináli, potom sa objaví v Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listVlastná doména a HTTPS pre Open WebUI
Po inštalácii Open WebUI odpovedá na IP adrese servera cez obyčajné HTTP. Ak mu chcete dať názov ako ai.example.com s certifikátom, vytvorte vo svojom DNS pre tento názov záznam A smerujúci na IPv4 adresu servera a pred aplikáciu postavte Caddy: Caddy si sám získa bezplatný certifikát Let's Encrypt a predlžuje ho. Príkazy nižšie sú pre Ubuntu 24.04, na ktorom bežia naše aplikačné servery.
V paneli otvorte vo firewalle servera TCP porty 80 a 443: Caddy ich potrebuje na získanie certifikátu Let's Encrypt a na obsluhu webu.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyKeď doména funguje, priamy port 3000 už nikto nepotrebuje: v /opt/ollama/compose.yml zmeňte "3000:…" na "127.0.0.1:3000:…", spustite docker compose up -d a odstráňte port 3000 z firewallu. Open WebUI je potom dostupné iba cez HTTPS.
Aktualizácia Ollama
Obrazy v /opt/ollama/compose.yml sú pevne nastavené na konkrétne verzie, takže samotné docker compose pull stiahne opäť tú istú verziu. Pri aktualizácii zmeňte verziu v riadku image: na požadovanú (najprv si prečítajte poznámky k vydaniu), potom obrazy stiahnite a kontajnery vytvorte nanovo. Údaje sú v zväzkoch Dockeru a zostanú zachované.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dZálohovanie Ollama
V paneli môžete zapnúť denné zálohy celého servera (+20 % z ceny balíka, uchováva sa posledných 7 kópií) a server z ktorejkoľvek z nich obnoviť. Kópia vlastných dát aplikácie v súbore sa však oplatí: dá sa presunúť na iný server alebo obnoviť bez vrátenia všetkého ostatného.
Chaty, používatelia a nastavenia Open WebUI sú vo zväzku ollama_open_webui. Stiahnuté modely sú v ollama_ollama a dajú sa jednoducho stiahnuť znova, preto sa do zálohy súborov zvyčajne nezaraďujú:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startAko to funguje
- Na stránke objednávky servera vyberte Ollama a zvoľte balík s dostatkom pamäte.
- Aplikácia sa na server nainštaluje pri prvom spustení, zvyčajne do niekoľkých minút.
- Otvorte server vo svojom paneli: nájdete tam adresu aj prihlasovacie údaje.