Kezdés
Összes VPS-alkalmazás
AI és ágensek

Ollama: nyílt AI modellek a saját szervereden

Nyelvi modellek, amelyek a szerver saját processzorán és memóriáján futnak, webes csevegőfelülettel, így a promptok nem kerülnek külső API-hoz.

Szerver rendelése Ollama alkalmazással VPS-csomagok

A(z) Ollama bemutatása

Az Ollama nyílt forráskódú eszköz, amellyel egyetlen paranccsal letölthetők és futtathatók a nyílt súlyú nyelvi modellek. A könyvtárában több méretben megtalálhatók többek között a Llama, Gemma, Mistral, Qwen és DeepSeek modellcsaládok, és egy egyszerű HTTP API-t is biztosít, amelyet más programok hívhatnak.

A fejlesztők tokenenkénti költség nélkül készíthetnek vele prototípusokat, a cégek pedig akkor választják, ha a szöveg nem hagyhatja el a saját infrastruktúrájukat, például belső dokumentumok vagy ügyféladatok esetén.

Ha laptop helyett szerveren fut, a modellek a nap bármely órájában elérhetők az egész csapat és az alkalmazásaid számára. Ennek ára a hardver: a modell méretét a szerver memóriája korlátozza, a generálás sebessége pedig a processzortól függ. A modellek fájlként vannak a lemezen, így az is a lemezmérettől függ, hányat tarthatsz meg.

Mire használják

Csevegő, amely nem küld ki adatot

Kérdezz érzékeny szövegekről a böngészős csevegőben, tudva, hogy a promptot a saját szervered dolgozza fel.

Modell a saját alkalmazásod mögött

Hívd a modellt a backendből összefoglalókhoz, osztályozáshoz vagy adatkinyeréshez, kérésenkénti API-számla nélkül.

Különböző nyílt modellek kipróbálása

Tölts le több modellt, és mielőtt döntesz, hasonlítsd össze, hogyan boldogulnak a valódi feladataiddal.

A rendelés után

Az Ollama az első indításkor települ a szerveredre, egy webes csevegőfelülettel együtt, amely a http://<szerver címe>:3000/ címen érhető el; a 3000-es port nyitva van a tűzfalon. A Rivervo panelben látható e-mail-címmel és jelszóval jelentkezz be. A modelleket a szerveren kell letölteni: a panel megmutatja az ehhez szükséges parancsot (például ollama pull llama3.2), ezután a modell megjelenik a csevegőben.

Modell kiválasztása a szerveredhez

Az, hogy mekkora modellt tud futtatni a szerver, a memóriától függ. Az Ollama dokumentációja hozzávetőleges iránymutatást ad: legalább 8 GB RAM a 7B, 16 GB a 13B és 32 GB a 33B modellekhez. GPU nélkül a modell a processzoron fut, így több mag gyorsabb válaszokat jelent. Tölts le egy modellt a parancssorból, ezután megjelenik az Open WebUI-ban:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Saját domain és HTTPS az Open WebUI-hoz

Alapból az Open WebUI a szerver IP-címén, sima HTTP-n válaszol. Ha olyan nevet és tanúsítványt szeretnél neki, mint az ai.cegnev.hu, hozz létre a DNS-ben egy A rekordot erre a névre, amely a szerver IPv4-címére mutat, majd tedd elé a Caddyt: a Caddy magától szerez ingyenes Let's Encrypt-tanúsítványt, és meg is újítja. Az alábbi parancsok az alkalmazásszervereinken futó Ubuntu 24.04-hez valók.

A panelben nyisd meg a 80-as és a 443-as TCP-portot a szerver tűzfalán: ezekre a Caddynek a Let's Encrypt-tanúsítvány megszerzéséhez és az oldal kiszolgálásához van szüksége.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Ha a domain működik, a nyers 3000-es portra már senkinek sincs szüksége: az /opt/ollama/compose.yml fájlban írd át a "3000:…" részt "127.0.0.1:3000:…" értékre, futtasd a docker compose up -d parancsot, és töröld a 3000-es portot a tűzfalból. Ezután az Open WebUI csak HTTPS-en érhető el.

Az Ollama frissítése

Az /opt/ollama/compose.yml fájlban a képek pontos verzióhoz vannak rögzítve, így egy sima docker compose pull ugyanazt a verziót tölti le újra. Frissítéshez írd át az image: sorban a verziót a kívántra (előtte olvasd el a kiadási megjegyzéseket), majd töltsd le és hozd létre újra a konténereket. Az adatok Docker-kötetekben vannak, és megmaradnak.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Az Ollama biztonsági mentése

A panelben bekapcsolhatod a teljes szerver napi biztonsági mentését (a csomag árának +20%-a, az utolsó 7 példány marad meg), és bármelyikből visszaállíthatod a szervert. Ettől függetlenül érdemes az alkalmazás saját adatairól is fájlba mentést készíteni: ez átvihető egy másik szerverre, vagy visszaállítható anélkül, hogy minden mást is visszaállítanál.

Az Open WebUI csevegései, felhasználói és beállításai az ollama_open_webui kötetben vannak; a letöltött modellek az ollama_ollama kötetben, ezek egyszerűen újra letölthetők, ezért általában kimaradnak a fájlmentésekből:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Hogyan működik

  1. A szerverrendelési oldalon válaszd a(z) Ollama alkalmazást, és egy elegendő memóriájú csomagot.
  2. Az alkalmazás a szerver első indításakor települ, általában néhány perc alatt.
  3. Nyisd meg a szervert a panelben: ott találod a címet és a belépési adatokat.

Kérdések: Ollama

A minimum 8 GB memória és 80 GB lemez, amibe kényelmesen beleférnek a néhány milliárd paraméteres kis modellek. Egy modellnek nagyjából annyi szabad memória kell, amekkora a fájlja, így a nagyobb modellekhez több memóriával és lemezzel rendelkező csomag szükséges.
A sebesség a modell méretétől és a szerver processzormagjaitól függ. A kis modellek használható tempóban válaszolnak, a nagyok érezhetően lassabbak, ezért kezdj kicsivel, és csak akkor válts nagyobbra, ha a minőség megkívánja.
Igen, x86 és ARM csomagokon is elérhető, így a memóriaigényes modellmunkához az ARM is észszerű választás.
Az Ollama API-ja (11434-es port) nincs kinyitva a szerveren, csak a Dockeren belül, az Open WebUI felől érhető el. Ha a saját kódodból szeretnéd hívni, futtasd a kódot ugyanazon a szerveren, ugyanabban a Docker-hálózatban, vagy tedd közzé a portot `"127.0.0.1:11434:11434"` formában, és használj SSH-alagutat. Ne nyisd meg az internet felé: nincs jelszava.
A regisztráció ki van kapcsolva (`ENABLE_SIGNUP: "false"`), így idegenek nem regisztrálhatnak. A felhasználókat te adod hozzá az Open WebUI adminpaneljében.

További alkalmazások ebben a kategóriában: AI és ágensek