Kom i gang
Alle VPS-apps
AI og agenter

Ollama: åbne AI-modeller på din egen server

Sprogmodeller, der kører på serverens egen processor og hukommelse, med en webchat til at tale med dem, så dine prompts ikke sendes til et eksternt API.

Bestil en server med Ollama Se VPS-pakker

Om Ollama

Ollama er et open source-værktøj til at hente og køre sprogmodeller med åbne vægte med en enkelt kommando. Biblioteket rummer modelfamilier som Llama, Gemma, Mistral, Qwen og DeepSeek i flere størrelser, og det stiller et enkelt HTTP-API til rådighed, som andre programmer kan kalde.

Udviklere bruger det til at lave prototyper af funktioner uden omkostninger pr. token, og virksomheder bruger det, når tekst ikke må forlade deres egen infrastruktur, for eksempel interne dokumenter eller kundedata.

Når det kører på en server i stedet for en bærbar, er modellerne tilgængelige for hele teamet og for dine applikationer døgnet rundt. Prisen er hardware: modellens størrelse begrænses af serverens hukommelse, og hastigheden afhænger af processoren. Modellerne gemmes som filer på disken, så diskens størrelse begrænser også, hvor mange du kan have.

Det bruger folk den til

En chat, der aldrig sender data ud

Stil spørgsmål om følsom tekst i browserchatten, og vær sikker på, at prompten behandles på din server.

En model bag din egen app

Kald modellen fra din backend til resuméer, klassificering eller udtræk – uden en API-regning pr. forespørgsel.

Afprøv forskellige åbne modeller

Hent flere modeller, og sammenlign, hvordan de klarer dine rigtige opgaver, før du vælger.

Når du har bestilt

Ollama installeres på din server ved første opstart sammen med en webchat på http://din-serveradresse:3000/. Port 3000 er åbnet i firewallen. Log ind med den e-mailadresse og adgangskode, der vises i Rivervo-panelet. Modellerne hentes på serveren: panelet viser kommandoen til det (for eksempel ollama pull llama3.2), og derefter dukker modellen op i chatten.

Vælg en model til din server

Hvor stor en model serveren kan køre, afhænger af hukommelsen. Ollamas dokumentation giver en tommelfingerregel: mindst 8 GB RAM til 7B-modeller, 16 GB til 13B-modeller og 32 GB til 33B-modeller. Uden GPU kører modellen på processoren, så flere kerner giver hurtigere svar. Hent en model fra kommandolinjen, så dukker den op i Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Dit eget domæne og HTTPS til Open WebUI

Fra start svarer Open WebUI på serverens IP-adresse via almindelig HTTP. Vil du give den et navn som ai.eksempel.dk med et certifikat, så opret en A-post for navnet, der peger på serverens IPv4-adresse i din DNS, og sæt Caddy foran: Caddy henter selv et gratis Let's Encrypt-certifikat og fornyer det. Kommandoerne nedenfor er til Ubuntu 24.04, som vores app-servere kører.

Åbn TCP-port 80 og 443 i serverens firewall i panelet: Caddy skal bruge dem til at hente Let's Encrypt-certifikatet og levere siden.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Når domænet virker, er der ikke længere brug for den rå port 3000: i /opt/ollama/compose.yml ændrer du "3000:…" til "127.0.0.1:3000:…", kører docker compose up -d og fjerner port 3000 fra firewallen. Så kan Open WebUI kun nås via HTTPS.

Opdatering af Ollama

Billederne i /opt/ollama/compose.yml er låst til præcise versioner, så en almindelig docker compose pull henter den samme version igen. For at opdatere skal du ændre versionen i linjen image: til den, du ønsker (læs udgivelsesnoterne først), og derefter hente og genskabe containerne. Data ligger i Docker-volumes og bevares.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Backup af Ollama

I panelet kan du slå daglige backups af hele serveren til (+20 % af pakkens pris, de seneste 7 kopier gemmes) og gendanne serveren fra enhver af dem. Det er stadig en god idé at have en kopi af appens egne data i en fil: Den kan flyttes til en anden server eller gendannes uden at rulle alt andet tilbage.

Chats, brugere og indstillinger i Open WebUI ligger i volumen ollama_open_webui. Hentede modeller ligger i ollama_ollama og kan bare hentes igen, så de udelades normalt fra filbackups:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Sådan virker det

  1. Vælg Ollama på siden for bestilling af server, og vælg en pakke med nok hukommelse.
  2. Appen installeres på serveren ved første opstart, som regel inden for få minutter.
  3. Åbn serveren i dit panel: adressen og logindataene står der.

Spørgsmål om Ollama

8 GB hukommelse og 80 GB disk er minimum, hvilket fint rummer små modeller med nogle få milliarder parametre. En model kræver omtrent lige så meget ledig hukommelse som dens filstørrelse, så større modeller kræver en pakke med mere hukommelse og disk.
Hastigheden afhænger af modellens størrelse og serverens processorkerner. Små modeller svarer i et brugbart tempo, store er mærkbart langsommere. Start derfor småt, og gå kun op, hvis kvaliteten kræver det.
Ja, det fås på både x86- og ARM-pakker, hvilket gør ARM til en fornuftig mulighed for hukommelseskrævende arbejde med modeller.
Ollamas API (port 11434) er ikke udstillet på serveren – det kan kun nås fra Open WebUI inde i Docker. Vil du kalde det fra din egen kode, så kør koden på samme server i samme Docker-netværk, eller udstil porten som `"127.0.0.1:11434:11434"` og brug en SSH-tunnel. Åbn det ikke mod internettet: det har ingen adgangskode.
Tilmelding er slået fra (`ENABLE_SIGNUP: "false"`), så fremmede kan ikke registrere sig. Du tilføjer selv brugere i Open WebUI's administrationspanel.