Ollama: åbne AI-modeller på din egen server
Sprogmodeller, der kører på serverens egen processor og hukommelse, med en webchat til at tale med dem, så dine prompts ikke sendes til et eksternt API.
Om Ollama
Ollama er et open source-værktøj til at hente og køre sprogmodeller med åbne vægte med en enkelt kommando. Biblioteket rummer modelfamilier som Llama, Gemma, Mistral, Qwen og DeepSeek i flere størrelser, og det stiller et enkelt HTTP-API til rådighed, som andre programmer kan kalde.
Udviklere bruger det til at lave prototyper af funktioner uden omkostninger pr. token, og virksomheder bruger det, når tekst ikke må forlade deres egen infrastruktur, for eksempel interne dokumenter eller kundedata.
Når det kører på en server i stedet for en bærbar, er modellerne tilgængelige for hele teamet og for dine applikationer døgnet rundt. Prisen er hardware: modellens størrelse begrænses af serverens hukommelse, og hastigheden afhænger af processoren. Modellerne gemmes som filer på disken, så diskens størrelse begrænser også, hvor mange du kan have.
Det bruger folk den til
En chat, der aldrig sender data ud
Stil spørgsmål om følsom tekst i browserchatten, og vær sikker på, at prompten behandles på din server.
En model bag din egen app
Kald modellen fra din backend til resuméer, klassificering eller udtræk – uden en API-regning pr. forespørgsel.
Afprøv forskellige åbne modeller
Hent flere modeller, og sammenlign, hvordan de klarer dine rigtige opgaver, før du vælger.
Når du har bestilt
Ollama installeres på din server ved første opstart sammen med en webchat på http://din-serveradresse:3000/. Port 3000 er åbnet i firewallen. Log ind med den e-mailadresse og adgangskode, der vises i Rivervo-panelet. Modellerne hentes på serveren: panelet viser kommandoen til det (for eksempel ollama pull llama3.2), og derefter dukker modellen op i chatten.
Vælg en model til din server
Hvor stor en model serveren kan køre, afhænger af hukommelsen. Ollamas dokumentation giver en tommelfingerregel: mindst 8 GB RAM til 7B-modeller, 16 GB til 13B-modeller og 32 GB til 33B-modeller. Uden GPU kører modellen på processoren, så flere kerner giver hurtigere svar. Hent en model fra kommandolinjen, så dukker den op i Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listDit eget domæne og HTTPS til Open WebUI
Fra start svarer Open WebUI på serverens IP-adresse via almindelig HTTP. Vil du give den et navn som ai.eksempel.dk med et certifikat, så opret en A-post for navnet, der peger på serverens IPv4-adresse i din DNS, og sæt Caddy foran: Caddy henter selv et gratis Let's Encrypt-certifikat og fornyer det. Kommandoerne nedenfor er til Ubuntu 24.04, som vores app-servere kører.
Åbn TCP-port 80 og 443 i serverens firewall i panelet: Caddy skal bruge dem til at hente Let's Encrypt-certifikatet og levere siden.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyNår domænet virker, er der ikke længere brug for den rå port 3000: i /opt/ollama/compose.yml ændrer du "3000:…" til "127.0.0.1:3000:…", kører docker compose up -d og fjerner port 3000 fra firewallen. Så kan Open WebUI kun nås via HTTPS.
Opdatering af Ollama
Billederne i /opt/ollama/compose.yml er låst til præcise versioner, så en almindelig docker compose pull henter den samme version igen. For at opdatere skal du ændre versionen i linjen image: til den, du ønsker (læs udgivelsesnoterne først), og derefter hente og genskabe containerne. Data ligger i Docker-volumes og bevares.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup af Ollama
I panelet kan du slå daglige backups af hele serveren til (+20 % af pakkens pris, de seneste 7 kopier gemmes) og gendanne serveren fra enhver af dem. Det er stadig en god idé at have en kopi af appens egne data i en fil: Den kan flyttes til en anden server eller gendannes uden at rulle alt andet tilbage.
Chats, brugere og indstillinger i Open WebUI ligger i volumen ollama_open_webui. Hentede modeller ligger i ollama_ollama og kan bare hentes igen, så de udelades normalt fra filbackups:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startSådan virker det
- Vælg Ollama på siden for bestilling af server, og vælg en pakke med nok hukommelse.
- Appen installeres på serveren ved første opstart, som regel inden for få minutter.
- Åbn serveren i dit panel: adressen og logindataene står der.