Ollama: åpne AI-modeller på din egen server
Språkmodeller som kjører på serverens egen prosessor og eget minne, med en webchat for å snakke med dem, så forespørslene ikke sendes til et eksternt API.
Om Ollama
Ollama er et verktøy med åpen kildekode for å laste ned og kjøre språkmodeller med åpne vekter med én kommando. Biblioteket har modellfamilier som Llama, Gemma, Mistral, Qwen og DeepSeek i flere størrelser, og det tilbyr et enkelt HTTP-API som andre programmer kan kalle.
Utviklere bruker det til å lage prototyper av funksjoner uten kostnad per token, og bedrifter bruker det når tekst ikke får forlate deres egen infrastruktur, for eksempel interne dokumenter eller kundedata.
Når det kjører på en server i stedet for en bærbar PC, er modellene tilgjengelige for hele teamet og for applikasjonene dine når som helst på døgnet. Prisen er maskinvare: modellstørrelsen begrenses av serverens minne, og hastigheten avhenger av prosessoren. Modellene lagres som filer på disken, så diskstørrelsen begrenser også hvor mange du kan ha.
Dette bruker folk den til
En chat som aldri sender data ut
Still spørsmål om sensitiv tekst i chatten i nettleseren, og vit at forespørselen behandles på serveren din.
En modell bak din egen app
Kall modellen fra backend-en din for sammendrag, klassifisering eller uttrekk, uten API-regning per forespørsel.
Prøv ulike åpne modeller
Last ned flere modeller og sammenlign hvordan de løser de faktiske oppgavene dine før du velger.
Etter at du har bestilt
Ollama installeres på serveren din første gang den starter, sammen med en webchat på http://din-serveradresse:3000/. Port 3000 er åpnet i brannmuren. Logg inn med e-postadressen og passordet som vises i Rivervo-panelet. Modellene lastes ned på serveren: panelet viser kommandoen for det (ollama pull llama3.2 som eksempel), og deretter dukker modellen opp i chatten.
Velg en modell for serveren din
Hvor stor modell serveren kan kjøre, avhenger av minnet. Dokumentasjonen til Ollama gir en grov pekepinn: minst 8 GB RAM for 7B-modeller, 16 GB for 13B-modeller og 32 GB for 33B-modeller. Uten GPU kjører modellen på prosessoren, så flere kjerner gir raskere svar. Last ned en modell fra skallet, så dukker den opp i Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listEget domene og HTTPS for Open WebUI
Som standard svarer Open WebUI på serverens IP-adresse over vanlig HTTP. For å gi den et navn som ai.example.com med sertifikat oppretter du en A-post for navnet i DNS-en din som peker til serverens IPv4-adresse, og setter Caddy foran: Caddy henter et gratis Let's Encrypt-sertifikat selv og fornyer det. Kommandoene nedenfor gjelder Ubuntu 24.04, som appserverne våre kjører.
Åpne TCP-portene 80 og 443 i serverens brannmur i panelet: Caddy trenger dem for å hente Let's Encrypt-sertifikatet og for å levere siden.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyNår domenet fungerer, trenger ingen den rå porten 3000 lenger: i /opt/ollama/compose.yml endrer du "3000:…" til "127.0.0.1:3000:…", kjører docker compose up -d og fjerner port 3000 fra brannmuren. Da er Open WebUI bare tilgjengelig via HTTPS.
Oppdatere Ollama
Imagene i /opt/ollama/compose.yml er låst til bestemte versjoner, så en vanlig docker compose pull henter samme versjon på nytt. For å oppdatere endrer du versjonen i image:-linjen til den du vil ha (les versjonsnotatene først), og laster så ned og gjenoppretter containerne. Dataene ligger i Docker-volumer og beholdes.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dSikkerhetskopi av Ollama
I panelet kan du slå på daglige sikkerhetskopier av hele serveren (+20 % av pakkeprisen, de 7 siste kopiene beholdes) og gjenopprette serveren fra hvilken som helst av dem. Det er likevel lurt å ha en kopi av appens egne data i en fil: den kan flyttes til en annen server eller gjenopprettes uten å rulle tilbake alt annet.
Chatter, brukere og innstillinger i Open WebUI ligger i volumet ollama_open_webui. Nedlastede modeller ligger i ollama_ollama og kan enkelt lastes ned på nytt, så de holdes vanligvis utenfor filsikkerhetskopier:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startSlik fungerer det
- Velg Ollama på bestillingssiden for servere og velg en pakke med nok minne.
- Appen installeres på serveren ved første oppstart, som regel i løpet av noen minutter.
- Åpne serveren i panelet: adressen og innloggingsopplysningene ligger der.