Ollama: avoimet AI-mallit omalla palvelimellasi
Kielimallit toimivat palvelimen omalla prosessorilla ja muistilla, ja niiden kanssa keskustellaan verkkochatissa, joten kehotteita ei lähetetä ulkoiseen API:in.
Tietoa: Ollama
Ollama on avoimen lähdekoodin työkalu, jolla avoimia kielimalleja ladataan ja ajetaan yhdellä komennolla. Sen kirjastossa on mallisarjoja kuten Llama, Gemma, Mistral, Qwen ja DeepSeek useina kokoina, ja se tarjoaa yksinkertaisen HTTP-rajapinnan, jota muut ohjelmat voivat kutsua.
Kehittäjät käyttävät sitä ominaisuuksien prototyyppeihin ilman tokenikohtaisia kuluja, ja yritykset silloin, kun teksti ei saa poistua omasta infrastruktuurista, esimerkiksi sisäiset dokumentit tai asiakastiedot.
Kun Ollama on palvelimella eikä läppärillä, mallit ovat koko tiimin ja sovellustesi käytössä mihin aikaan tahansa. Vastapainona on laitteisto: mallin kokoa rajoittaa palvelimen muisti, ja vastausnopeus riippuu prosessorista. Mallit tallennetaan levylle tiedostoina, joten levyn koko rajoittaa myös sitä, montako mallia voit pitää.
Mihin sitä käytetään
Chat, josta data ei lähde ulos
Kysy arkaluonteisesta tekstistä selainchatissa tietäen, että kehote käsitellään omalla palvelimellasi.
Malli oman sovelluksesi takana
Kutsu mallia taustajärjestelmästäsi tiivistelmiin, luokitteluun tai tiedon poimintaan ilman pyyntökohtaista API-laskua.
Eri avointen mallien kokeilu
Hae useita malleja ja vertaa, miten ne selviävät todellisista tehtävistäsi, ennen kuin valitset yhden.
Tilauksen jälkeen
Ollama asennetaan palvelimellesi ensimmäisellä käynnistyskerralla yhdessä verkkochatin kanssa, joka on osoitteessa http://palvelimen-osoite:3000/; portti 3000 avataan palomuuriin. Kirjaudu Rivervo-paneelissa näkyvällä sähköpostiosoitteella ja salasanalla. Mallit ladataan palvelimelle: paneeli näyttää siihen komennon (esimerkiksi ollama pull llama3.2), minkä jälkeen malli näkyy chatissa.
Mallin valinta palvelimellesi
Muisti ratkaisee, kuinka suurta mallia palvelin pystyy ajamaan. Ollaman dokumentaatio antaa suuntaa-antavan ohjeen: vähintään 8 Gt RAM-muistia 7B-malleille, 16 Gt 13B-malleille ja 32 Gt 33B-malleille. Ilman GPU:ta malli toimii prosessorilla, joten useampi ydin tarkoittaa nopeampia vastauksia. Hae malli komentoriviltä, jolloin se näkyy Open WebUI:ssa:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listOma verkkotunnus ja HTTPS Open WebUI:lle
Oletuksena Open WebUI vastaa palvelimen IP-osoitteessa pelkällä HTTP:llä. Jos haluat sille nimen, kuten ai.yritys.fi, ja varmenteen, luo DNS:ään nimelle A-tietue, joka osoittaa palvelimen IPv4-osoitteeseen, ja laita Caddy sen eteen: Caddy hakee ilmaisen Let's Encrypt -varmenteen itse ja uusii sen. Alla olevat komennot ovat sovelluspalvelimiemme Ubuntu 24.04:lle.
Avaa paneelissa palvelimen palomuuriin TCP-portit 80 ja 443: Caddy tarvitsee ne Let's Encrypt -varmenteen hankkimiseen ja sivuston tarjoamiseen.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyKun verkkotunnus toimii, suoraa porttia 3000 ei enää tarvita: vaihda tiedostossa /opt/ollama/compose.yml "3000:…" muotoon "127.0.0.1:3000:…", aja docker compose up -d ja poista portti 3000 palomuurista. Open WebUI on sen jälkeen käytettävissä vain HTTPS:n kautta.
Ollaman päivittäminen
Tiedoston /opt/ollama/compose.yml imaget on lukittu tarkkoihin versioihin, joten pelkkä docker compose pull hakee saman version uudelleen. Päivitä vaihtamalla image:-rivin versio haluamaasi (lue julkaisutiedot ensin), hae imaget ja luo kontit uudelleen. Data on Docker-volyymeissä ja säilyy.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllaman varmuuskopiointi
Paneelissa voit ottaa käyttöön koko palvelimen päivittäiset varmuuskopiot (+20 % paketin hinnasta, viimeiset 7 kopiota säilytetään) ja palauttaa palvelimen mistä tahansa niistä. Sovelluksen omista tiedoista kannattaa silti pitää kopio tiedostona: sen voi siirtää toiselle palvelimelle tai palauttaa ilman, että kaikkea muuta palautetaan.
Open WebUI:n keskustelut, käyttäjät ja asetukset ovat ollama_open_webui-volyymissä; ladatut mallit ovat volyymissä ollama_ollama, ja ne voi yksinkertaisesti hakea uudelleen, joten ne jätetään yleensä pois tiedostovarmuuskopioista:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startNäin se toimii
- Valitse Ollama palvelimen tilaussivulla ja valitse paketti, jossa on riittävästi muistia.
- Sovellus asennetaan palvelimelle ensimmäisellä käynnistyksellä, yleensä muutamassa minuutissa.
- Avaa palvelin paneelissasi: osoite ja kirjautumistiedot löytyvät sieltä.