Kom i gang
Alle VPS-apper
AI og agenter

Ollama: åpne AI-modeller på din egen server

Språkmodeller som kjører på serverens egen prosessor og eget minne, med en webchat for å snakke med dem, så forespørslene ikke sendes til et eksternt API.

Bestill en server med Ollama Se VPS-pakkene

Om Ollama

Ollama er et verktøy med åpen kildekode for å laste ned og kjøre språkmodeller med åpne vekter med én kommando. Biblioteket har modellfamilier som Llama, Gemma, Mistral, Qwen og DeepSeek i flere størrelser, og det tilbyr et enkelt HTTP-API som andre programmer kan kalle.

Utviklere bruker det til å lage prototyper av funksjoner uten kostnad per token, og bedrifter bruker det når tekst ikke får forlate deres egen infrastruktur, for eksempel interne dokumenter eller kundedata.

Når det kjører på en server i stedet for en bærbar PC, er modellene tilgjengelige for hele teamet og for applikasjonene dine når som helst på døgnet. Prisen er maskinvare: modellstørrelsen begrenses av serverens minne, og hastigheten avhenger av prosessoren. Modellene lagres som filer på disken, så diskstørrelsen begrenser også hvor mange du kan ha.

Dette bruker folk den til

En chat som aldri sender data ut

Still spørsmål om sensitiv tekst i chatten i nettleseren, og vit at forespørselen behandles på serveren din.

En modell bak din egen app

Kall modellen fra backend-en din for sammendrag, klassifisering eller uttrekk, uten API-regning per forespørsel.

Prøv ulike åpne modeller

Last ned flere modeller og sammenlign hvordan de løser de faktiske oppgavene dine før du velger.

Etter at du har bestilt

Ollama installeres på serveren din første gang den starter, sammen med en webchat på http://din-serveradresse:3000/. Port 3000 er åpnet i brannmuren. Logg inn med e-postadressen og passordet som vises i Rivervo-panelet. Modellene lastes ned på serveren: panelet viser kommandoen for det (ollama pull llama3.2 som eksempel), og deretter dukker modellen opp i chatten.

Velg en modell for serveren din

Hvor stor modell serveren kan kjøre, avhenger av minnet. Dokumentasjonen til Ollama gir en grov pekepinn: minst 8 GB RAM for 7B-modeller, 16 GB for 13B-modeller og 32 GB for 33B-modeller. Uten GPU kjører modellen på prosessoren, så flere kjerner gir raskere svar. Last ned en modell fra skallet, så dukker den opp i Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Eget domene og HTTPS for Open WebUI

Som standard svarer Open WebUI på serverens IP-adresse over vanlig HTTP. For å gi den et navn som ai.example.com med sertifikat oppretter du en A-post for navnet i DNS-en din som peker til serverens IPv4-adresse, og setter Caddy foran: Caddy henter et gratis Let's Encrypt-sertifikat selv og fornyer det. Kommandoene nedenfor gjelder Ubuntu 24.04, som appserverne våre kjører.

Åpne TCP-portene 80 og 443 i serverens brannmur i panelet: Caddy trenger dem for å hente Let's Encrypt-sertifikatet og for å levere siden.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Når domenet fungerer, trenger ingen den rå porten 3000 lenger: i /opt/ollama/compose.yml endrer du "3000:…" til "127.0.0.1:3000:…", kjører docker compose up -d og fjerner port 3000 fra brannmuren. Da er Open WebUI bare tilgjengelig via HTTPS.

Oppdatere Ollama

Imagene i /opt/ollama/compose.yml er låst til bestemte versjoner, så en vanlig docker compose pull henter samme versjon på nytt. For å oppdatere endrer du versjonen i image:-linjen til den du vil ha (les versjonsnotatene først), og laster så ned og gjenoppretter containerne. Dataene ligger i Docker-volumer og beholdes.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Sikkerhetskopi av Ollama

I panelet kan du slå på daglige sikkerhetskopier av hele serveren (+20 % av pakkeprisen, de 7 siste kopiene beholdes) og gjenopprette serveren fra hvilken som helst av dem. Det er likevel lurt å ha en kopi av appens egne data i en fil: den kan flyttes til en annen server eller gjenopprettes uten å rulle tilbake alt annet.

Chatter, brukere og innstillinger i Open WebUI ligger i volumet ollama_open_webui. Nedlastede modeller ligger i ollama_ollama og kan enkelt lastes ned på nytt, så de holdes vanligvis utenfor filsikkerhetskopier:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Slik fungerer det

  1. Velg Ollama på bestillingssiden for servere og velg en pakke med nok minne.
  2. Appen installeres på serveren ved første oppstart, som regel i løpet av noen minutter.
  3. Åpne serveren i panelet: adressen og innloggingsopplysningene ligger der.

Spørsmål om Ollama

Minimum er 8 GB minne og 80 GB disk, som gir god plass til små modeller på noen få milliarder parametere. En modell trenger omtrent like mye ledig minne som filstørrelsen sin, så større modeller krever en pakke med mer minne og disk.
Hastigheten avhenger av modellstørrelsen og antall prosessorkjerner på serveren. Små modeller svarer i et brukbart tempo, store er merkbart tregere. Start derfor smått, og gå opp bare hvis kvaliteten krever det.
Ja, det er tilgjengelig både på x86- og ARM-pakker, noe som gjør ARM til et fornuftig valg for minnekrevende arbeid med modeller.
API-et til Ollama (port 11434) er ikke publisert på serveren. Det er bare tilgjengelig fra Open WebUI inne i Docker. For å kalle det fra din egen kode kjører du koden på samme server i samme Docker-nettverk, eller publiserer porten som `"127.0.0.1:11434:11434"` og bruker en SSH-tunnel. Ikke åpne den mot internett: den har ikke passord.
Registrering er slått av (`ENABLE_SIGNUP: "false"`), så fremmede kan ikke registrere seg. Du legger til brukere selv i administrasjonspanelet i Open WebUI.