Začít
Všechny aplikace pro VPS
AI a agenti

Ollama: otevřené AI modely na vlastním serveru

Jazykové modely, které běží na procesoru a v paměti samotného serveru, s webovým chatem pro komunikaci s nimi, takže prompty se neposílají na žádné externí API.

Objednat server s Ollama Zobrazit tarify VPS

O aplikaci Ollama

Ollama je open-source nástroj pro stažení a spuštění jazykových modelů s otevřenými váhami jediným příkazem. Jeho knihovna obsahuje rodiny modelů jako Llama, Gemma, Mistral, Qwen a DeepSeek v několika velikostech a nabízí jednoduché HTTP API, které mohou volat další programy.

Vývojáři ho používají k prototypování funkcí bez nákladů za tokeny a firmy tehdy, když text nesmí opustit jejich vlastní infrastrukturu, například interní dokumenty nebo data zákazníků.

Na serveru, a ne na notebooku, jsou modely k dispozici celému týmu i vašim aplikacím kdykoli. Daní za to je hardware: velikost modelu omezuje paměť serveru a rychlost generování závisí na jeho procesoru. Modely se ukládají jako soubory na disk, takže i velikost disku omezuje, kolik jich můžete mít.

K čemu ji lidé používají

Chat, který nikdy neposílá data ven

Ptejte se na citlivé texty v chatu v prohlížeči s vědomím, že prompt se zpracuje na vašem serveru.

Model za vaší vlastní aplikací

Volejte model z backendu pro shrnutí, klasifikaci nebo extrakci, bez účtu za API u každého požadavku.

Zkoušení různých otevřených modelů

Stáhněte několik modelů a porovnejte, jak zvládají vaše skutečné úlohy, než si jeden vyberete.

Po objednání

Ollama se na váš server nainstaluje při jeho prvním spuštění spolu s webovým chatem na adrese http://adresa-serveru:3000/; port 3000 se ve firewallu otevře. Přihlaste se e-mailem a heslem z panelu Rivervo. Modely se stahují na serveru: panel ukazuje příkaz (například ollama pull llama3.2) a model se pak objeví v chatu.

Výběr modelu pro váš server

Jak velký model server utáhne, závisí na paměti. Dokumentace Ollamy dává hrubé vodítko: alespoň 8 GB RAM pro modely 7B, 16 GB pro modely 13B a 32 GB pro modely 33B. Bez GPU běží model na procesoru, takže víc jader znamená rychlejší odpovědi. Stáhněte model z příkazové řádky a objeví se v Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Vlastní doména a HTTPS pro Open WebUI

Po instalaci Open WebUI odpovídá na IP adrese serveru přes obyčejné HTTP. Pokud mu chcete dát název jako ai.example.com s certifikátem, vytvořte v DNS pro tento název záznam A, který ukazuje na IPv4 adresu serveru, a předřaďte mu Caddy: Caddy si sám získá bezplatný certifikát Let's Encrypt a sám ho prodlužuje. Příkazy níže jsou pro Ubuntu 24.04, na kterém běží naše aplikační servery.

V panelu otevřete ve firewallu serveru TCP porty 80 a 443: Caddy je potřebuje k získání certifikátu Let's Encrypt a k obsluze webu.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Jakmile doména funguje, holý port 3000 už nikdo nepotřebuje: v /opt/ollama/compose.yml změňte "3000:…" na "127.0.0.1:3000:…", spusťte docker compose up -d a port 3000 z firewallu odeberte. Open WebUI pak bude dostupné jen přes HTTPS.

Aktualizace Ollamy

Image v /opt/ollama/compose.yml jsou připnuté na konkrétní verze, takže samotné docker compose pull stáhne znovu stejnou verzi. Při aktualizaci změňte verzi na řádku image: na požadovanou (nejdřív si přečtěte poznámky k vydání), pak image stáhněte a kontejnery znovu vytvořte. Data jsou ve volumes Dockeru a zůstanou zachována.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Zálohování Ollamy

V panelu můžete zapnout denní zálohy celého serveru (+20 % ceny tarifu, uchovává se posledních 7 kopií) a server z kterékoli z nich obnovit. Kopie vlastních dat aplikace v souboru se přesto vyplatí: dá se přenést na jiný server nebo obnovit, aniž byste vraceli zpět všechno ostatní.

Chaty, uživatelé a nastavení Open WebUI jsou ve volume ollama_open_webui; stažené modely jsou v ollama_ollama a dají se jednoduše stáhnout znovu, proto se do souborových záloh obvykle nezahrnují:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Jak to funguje

  1. Na stránce objednávky serveru zvolte Ollama a vyberte tarif s dostatkem paměti.
  2. Aplikace se na server nainstaluje při prvním spuštění, obvykle během několika minut.
  3. Otevřete server ve svém panelu: najdete tam adresu i přihlašovací údaje.

Dotazy k aplikaci Ollama

Minimum je 8 GB paměti a 80 GB disku, do čehož se pohodlně vejdou malé modely s několika miliardami parametrů. Model potřebuje zhruba tolik volné paměti, kolik má jeho soubor, takže větší modely vyžadují tarif s větší pamětí a diskem.
Rychlost závisí na velikosti modelu a počtu jader procesoru serveru. Malé modely odpovídají použitelným tempem, velké jsou znatelně pomalejší, proto začněte s malým a k většímu přejděte, jen pokud to kvalita vyžaduje.
Ano, je k dispozici na tarifech x86 i ARM, což z ARM dělá rozumnou volbu pro práci s modely náročnou na paměť.
API Ollamy (port 11434) není na serveru zveřejněné, je dostupné jen z Open WebUI uvnitř Dockeru. Pokud ho chcete volat z vlastního kódu, spusťte tento kód na stejném serveru ve stejné síti Dockeru, nebo port zveřejněte jako `"127.0.0.1:11434:11434"` a použijte SSH tunel. Do internetu ho neotevírejte: nemá heslo.
Registrace je vypnutá (`ENABLE_SIGNUP: "false"`), takže se cizí lidé zaregistrovat nemohou. Uživatele přidávejte sami v administraci Open WebUI.

Další aplikace v kategorii AI a agenti