Ollama: otevřené AI modely na vlastním serveru
Jazykové modely, které běží na procesoru a v paměti samotného serveru, s webovým chatem pro komunikaci s nimi, takže prompty se neposílají na žádné externí API.
O aplikaci Ollama
Ollama je open-source nástroj pro stažení a spuštění jazykových modelů s otevřenými váhami jediným příkazem. Jeho knihovna obsahuje rodiny modelů jako Llama, Gemma, Mistral, Qwen a DeepSeek v několika velikostech a nabízí jednoduché HTTP API, které mohou volat další programy.
Vývojáři ho používají k prototypování funkcí bez nákladů za tokeny a firmy tehdy, když text nesmí opustit jejich vlastní infrastrukturu, například interní dokumenty nebo data zákazníků.
Na serveru, a ne na notebooku, jsou modely k dispozici celému týmu i vašim aplikacím kdykoli. Daní za to je hardware: velikost modelu omezuje paměť serveru a rychlost generování závisí na jeho procesoru. Modely se ukládají jako soubory na disk, takže i velikost disku omezuje, kolik jich můžete mít.
K čemu ji lidé používají
Chat, který nikdy neposílá data ven
Ptejte se na citlivé texty v chatu v prohlížeči s vědomím, že prompt se zpracuje na vašem serveru.
Model za vaší vlastní aplikací
Volejte model z backendu pro shrnutí, klasifikaci nebo extrakci, bez účtu za API u každého požadavku.
Zkoušení různých otevřených modelů
Stáhněte několik modelů a porovnejte, jak zvládají vaše skutečné úlohy, než si jeden vyberete.
Po objednání
Ollama se na váš server nainstaluje při jeho prvním spuštění spolu s webovým chatem na adrese http://adresa-serveru:3000/; port 3000 se ve firewallu otevře. Přihlaste se e-mailem a heslem z panelu Rivervo. Modely se stahují na serveru: panel ukazuje příkaz (například ollama pull llama3.2) a model se pak objeví v chatu.
Výběr modelu pro váš server
Jak velký model server utáhne, závisí na paměti. Dokumentace Ollamy dává hrubé vodítko: alespoň 8 GB RAM pro modely 7B, 16 GB pro modely 13B a 32 GB pro modely 33B. Bez GPU běží model na procesoru, takže víc jader znamená rychlejší odpovědi. Stáhněte model z příkazové řádky a objeví se v Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listVlastní doména a HTTPS pro Open WebUI
Po instalaci Open WebUI odpovídá na IP adrese serveru přes obyčejné HTTP. Pokud mu chcete dát název jako ai.example.com s certifikátem, vytvořte v DNS pro tento název záznam A, který ukazuje na IPv4 adresu serveru, a předřaďte mu Caddy: Caddy si sám získá bezplatný certifikát Let's Encrypt a sám ho prodlužuje. Příkazy níže jsou pro Ubuntu 24.04, na kterém běží naše aplikační servery.
V panelu otevřete ve firewallu serveru TCP porty 80 a 443: Caddy je potřebuje k získání certifikátu Let's Encrypt a k obsluze webu.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyJakmile doména funguje, holý port 3000 už nikdo nepotřebuje: v /opt/ollama/compose.yml změňte "3000:…" na "127.0.0.1:3000:…", spusťte docker compose up -d a port 3000 z firewallu odeberte. Open WebUI pak bude dostupné jen přes HTTPS.
Aktualizace Ollamy
Image v /opt/ollama/compose.yml jsou připnuté na konkrétní verze, takže samotné docker compose pull stáhne znovu stejnou verzi. Při aktualizaci změňte verzi na řádku image: na požadovanou (nejdřív si přečtěte poznámky k vydání), pak image stáhněte a kontejnery znovu vytvořte. Data jsou ve volumes Dockeru a zůstanou zachována.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dZálohování Ollamy
V panelu můžete zapnout denní zálohy celého serveru (+20 % ceny tarifu, uchovává se posledních 7 kopií) a server z kterékoli z nich obnovit. Kopie vlastních dat aplikace v souboru se přesto vyplatí: dá se přenést na jiný server nebo obnovit, aniž byste vraceli zpět všechno ostatní.
Chaty, uživatelé a nastavení Open WebUI jsou ve volume ollama_open_webui; stažené modely jsou v ollama_ollama a dají se jednoduše stáhnout znovu, proto se do souborových záloh obvykle nezahrnují:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startJak to funguje
- Na stránce objednávky serveru zvolte Ollama a vyberte tarif s dostatkem paměti.
- Aplikace se na server nainstaluje při prvním spuštění, obvykle během několika minut.
- Otevřete server ve svém panelu: najdete tam adresu i přihlašovací údaje.