Ollama: nyílt AI modellek a saját szervereden
Nyelvi modellek, amelyek a szerver saját processzorán és memóriáján futnak, webes csevegőfelülettel, így a promptok nem kerülnek külső API-hoz.
A(z) Ollama bemutatása
Az Ollama nyílt forráskódú eszköz, amellyel egyetlen paranccsal letölthetők és futtathatók a nyílt súlyú nyelvi modellek. A könyvtárában több méretben megtalálhatók többek között a Llama, Gemma, Mistral, Qwen és DeepSeek modellcsaládok, és egy egyszerű HTTP API-t is biztosít, amelyet más programok hívhatnak.
A fejlesztők tokenenkénti költség nélkül készíthetnek vele prototípusokat, a cégek pedig akkor választják, ha a szöveg nem hagyhatja el a saját infrastruktúrájukat, például belső dokumentumok vagy ügyféladatok esetén.
Ha laptop helyett szerveren fut, a modellek a nap bármely órájában elérhetők az egész csapat és az alkalmazásaid számára. Ennek ára a hardver: a modell méretét a szerver memóriája korlátozza, a generálás sebessége pedig a processzortól függ. A modellek fájlként vannak a lemezen, így az is a lemezmérettől függ, hányat tarthatsz meg.
Mire használják
Csevegő, amely nem küld ki adatot
Kérdezz érzékeny szövegekről a böngészős csevegőben, tudva, hogy a promptot a saját szervered dolgozza fel.
Modell a saját alkalmazásod mögött
Hívd a modellt a backendből összefoglalókhoz, osztályozáshoz vagy adatkinyeréshez, kérésenkénti API-számla nélkül.
Különböző nyílt modellek kipróbálása
Tölts le több modellt, és mielőtt döntesz, hasonlítsd össze, hogyan boldogulnak a valódi feladataiddal.
A rendelés után
Az Ollama az első indításkor települ a szerveredre, egy webes csevegőfelülettel együtt, amely a http://<szerver címe>:3000/ címen érhető el; a 3000-es port nyitva van a tűzfalon. A Rivervo panelben látható e-mail-címmel és jelszóval jelentkezz be. A modelleket a szerveren kell letölteni: a panel megmutatja az ehhez szükséges parancsot (például ollama pull llama3.2), ezután a modell megjelenik a csevegőben.
Modell kiválasztása a szerveredhez
Az, hogy mekkora modellt tud futtatni a szerver, a memóriától függ. Az Ollama dokumentációja hozzávetőleges iránymutatást ad: legalább 8 GB RAM a 7B, 16 GB a 13B és 32 GB a 33B modellekhez. GPU nélkül a modell a processzoron fut, így több mag gyorsabb válaszokat jelent. Tölts le egy modellt a parancssorból, ezután megjelenik az Open WebUI-ban:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listSaját domain és HTTPS az Open WebUI-hoz
Alapból az Open WebUI a szerver IP-címén, sima HTTP-n válaszol. Ha olyan nevet és tanúsítványt szeretnél neki, mint az ai.cegnev.hu, hozz létre a DNS-ben egy A rekordot erre a névre, amely a szerver IPv4-címére mutat, majd tedd elé a Caddyt: a Caddy magától szerez ingyenes Let's Encrypt-tanúsítványt, és meg is újítja. Az alábbi parancsok az alkalmazásszervereinken futó Ubuntu 24.04-hez valók.
A panelben nyisd meg a 80-as és a 443-as TCP-portot a szerver tűzfalán: ezekre a Caddynek a Let's Encrypt-tanúsítvány megszerzéséhez és az oldal kiszolgálásához van szüksége.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyHa a domain működik, a nyers 3000-es portra már senkinek sincs szüksége: az /opt/ollama/compose.yml fájlban írd át a "3000:…" részt "127.0.0.1:3000:…" értékre, futtasd a docker compose up -d parancsot, és töröld a 3000-es portot a tűzfalból. Ezután az Open WebUI csak HTTPS-en érhető el.
Az Ollama frissítése
Az /opt/ollama/compose.yml fájlban a képek pontos verzióhoz vannak rögzítve, így egy sima docker compose pull ugyanazt a verziót tölti le újra. Frissítéshez írd át az image: sorban a verziót a kívántra (előtte olvasd el a kiadási megjegyzéseket), majd töltsd le és hozd létre újra a konténereket. Az adatok Docker-kötetekben vannak, és megmaradnak.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dAz Ollama biztonsági mentése
A panelben bekapcsolhatod a teljes szerver napi biztonsági mentését (a csomag árának +20%-a, az utolsó 7 példány marad meg), és bármelyikből visszaállíthatod a szervert. Ettől függetlenül érdemes az alkalmazás saját adatairól is fájlba mentést készíteni: ez átvihető egy másik szerverre, vagy visszaállítható anélkül, hogy minden mást is visszaállítanál.
Az Open WebUI csevegései, felhasználói és beállításai az ollama_open_webui kötetben vannak; a letöltött modellek az ollama_ollama kötetben, ezek egyszerűen újra letölthetők, ezért általában kimaradnak a fájlmentésekből:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startHogyan működik
- A szerverrendelési oldalon válaszd a(z) Ollama alkalmazást, és egy elegendő memóriájú csomagot.
- Az alkalmazás a szerver első indításakor települ, általában néhány perc alatt.
- Nyisd meg a szervert a panelben: ott találod a címet és a belépési adatokat.