Aloita
Kaikki VPS-sovellukset
AI ja agentit

Ollama: avoimet AI-mallit omalla palvelimellasi

Kielimallit toimivat palvelimen omalla prosessorilla ja muistilla, ja niiden kanssa keskustellaan verkkochatissa, joten kehotteita ei lähetetä ulkoiseen API:in.

Tilaa palvelin, jossa on Ollama Katso VPS-paketit

Tietoa: Ollama

Ollama on avoimen lähdekoodin työkalu, jolla avoimia kielimalleja ladataan ja ajetaan yhdellä komennolla. Sen kirjastossa on mallisarjoja kuten Llama, Gemma, Mistral, Qwen ja DeepSeek useina kokoina, ja se tarjoaa yksinkertaisen HTTP-rajapinnan, jota muut ohjelmat voivat kutsua.

Kehittäjät käyttävät sitä ominaisuuksien prototyyppeihin ilman tokenikohtaisia kuluja, ja yritykset silloin, kun teksti ei saa poistua omasta infrastruktuurista, esimerkiksi sisäiset dokumentit tai asiakastiedot.

Kun Ollama on palvelimella eikä läppärillä, mallit ovat koko tiimin ja sovellustesi käytössä mihin aikaan tahansa. Vastapainona on laitteisto: mallin kokoa rajoittaa palvelimen muisti, ja vastausnopeus riippuu prosessorista. Mallit tallennetaan levylle tiedostoina, joten levyn koko rajoittaa myös sitä, montako mallia voit pitää.

Mihin sitä käytetään

Chat, josta data ei lähde ulos

Kysy arkaluonteisesta tekstistä selainchatissa tietäen, että kehote käsitellään omalla palvelimellasi.

Malli oman sovelluksesi takana

Kutsu mallia taustajärjestelmästäsi tiivistelmiin, luokitteluun tai tiedon poimintaan ilman pyyntökohtaista API-laskua.

Eri avointen mallien kokeilu

Hae useita malleja ja vertaa, miten ne selviävät todellisista tehtävistäsi, ennen kuin valitset yhden.

Tilauksen jälkeen

Ollama asennetaan palvelimellesi ensimmäisellä käynnistyskerralla yhdessä verkkochatin kanssa, joka on osoitteessa http://palvelimen-osoite:3000/; portti 3000 avataan palomuuriin. Kirjaudu Rivervo-paneelissa näkyvällä sähköpostiosoitteella ja salasanalla. Mallit ladataan palvelimelle: paneeli näyttää siihen komennon (esimerkiksi ollama pull llama3.2), minkä jälkeen malli näkyy chatissa.

Mallin valinta palvelimellesi

Muisti ratkaisee, kuinka suurta mallia palvelin pystyy ajamaan. Ollaman dokumentaatio antaa suuntaa-antavan ohjeen: vähintään 8 Gt RAM-muistia 7B-malleille, 16 Gt 13B-malleille ja 32 Gt 33B-malleille. Ilman GPU:ta malli toimii prosessorilla, joten useampi ydin tarkoittaa nopeampia vastauksia. Hae malli komentoriviltä, jolloin se näkyy Open WebUI:ssa:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Oma verkkotunnus ja HTTPS Open WebUI:lle

Oletuksena Open WebUI vastaa palvelimen IP-osoitteessa pelkällä HTTP:llä. Jos haluat sille nimen, kuten ai.yritys.fi, ja varmenteen, luo DNS:ään nimelle A-tietue, joka osoittaa palvelimen IPv4-osoitteeseen, ja laita Caddy sen eteen: Caddy hakee ilmaisen Let's Encrypt -varmenteen itse ja uusii sen. Alla olevat komennot ovat sovelluspalvelimiemme Ubuntu 24.04:lle.

Avaa paneelissa palvelimen palomuuriin TCP-portit 80 ja 443: Caddy tarvitsee ne Let's Encrypt -varmenteen hankkimiseen ja sivuston tarjoamiseen.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Kun verkkotunnus toimii, suoraa porttia 3000 ei enää tarvita: vaihda tiedostossa /opt/ollama/compose.yml "3000:…" muotoon "127.0.0.1:3000:…", aja docker compose up -d ja poista portti 3000 palomuurista. Open WebUI on sen jälkeen käytettävissä vain HTTPS:n kautta.

Ollaman päivittäminen

Tiedoston /opt/ollama/compose.yml imaget on lukittu tarkkoihin versioihin, joten pelkkä docker compose pull hakee saman version uudelleen. Päivitä vaihtamalla image:-rivin versio haluamaasi (lue julkaisutiedot ensin), hae imaget ja luo kontit uudelleen. Data on Docker-volyymeissä ja säilyy.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollaman varmuuskopiointi

Paneelissa voit ottaa käyttöön koko palvelimen päivittäiset varmuuskopiot (+20 % paketin hinnasta, viimeiset 7 kopiota säilytetään) ja palauttaa palvelimen mistä tahansa niistä. Sovelluksen omista tiedoista kannattaa silti pitää kopio tiedostona: sen voi siirtää toiselle palvelimelle tai palauttaa ilman, että kaikkea muuta palautetaan.

Open WebUI:n keskustelut, käyttäjät ja asetukset ovat ollama_open_webui-volyymissä; ladatut mallit ovat volyymissä ollama_ollama, ja ne voi yksinkertaisesti hakea uudelleen, joten ne jätetään yleensä pois tiedostovarmuuskopioista:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Näin se toimii

  1. Valitse Ollama palvelimen tilaussivulla ja valitse paketti, jossa on riittävästi muistia.
  2. Sovellus asennetaan palvelimelle ensimmäisellä käynnistyksellä, yleensä muutamassa minuutissa.
  3. Avaa palvelin paneelissasi: osoite ja kirjautumistiedot löytyvät sieltä.

Kysymyksiä: Ollama

Vähimmäisvaatimus on 8 Gt muistia ja 80 Gt levytilaa, mikä riittää hyvin muutaman miljardin parametrin pienille malleille. Malli tarvitsee vapaata muistia suunnilleen tiedostokokonsa verran, joten suuremmat mallit vaativat paketin, jossa on enemmän muistia ja levytilaa.
Nopeus riippuu mallin koosta ja palvelimen prosessoriytimistä. Pienet mallit vastaavat käyttökelpoisella tahdilla, suuret selvästi hitaammin, joten aloita pienestä ja siirry isompaan vain, jos laatu sitä vaatii.
Kyllä, se on saatavilla sekä x86- että ARM-paketteihin, mikä tekee ARM:sta järkevän vaihtoehdon paljon muistia vaativaan mallityöhön.
Ollaman API (portti 11434) ei ole julkaistu palvelimella, vaan se on tavoitettavissa vain Open WebUI:sta Dockerin sisällä. Jos haluat kutsua sitä omasta koodistasi, aja koodi samalla palvelimella samassa Docker-verkossa tai julkaise portti muodossa `"127.0.0.1:11434:11434"` ja käytä SSH-tunnelia. Älä avaa sitä internetiin: siinä ei ole salasanaa.
Rekisteröityminen on poistettu käytöstä (`ENABLE_SIGNUP: "false"`), joten ulkopuoliset eivät voi rekisteröityä. Lisää käyttäjät itse Open WebUI:n ylläpitopaneelissa.