Kom igång
Alla VPS-appar
AI och agenter

Ollama: öppna AI-modeller på din egen server

Språkmodeller som körs på serverns egen processor och minne, med en webbchatt att prata med dem i. Dina prompter skickas alltså inte till något externt API.

Beställ en server med Ollama Se VPS-paketen

Om Ollama

Ollama är ett verktyg med öppen källkod för att ladda ner och köra språkmodeller med öppna vikter med ett enda kommando. Biblioteket innehåller modellfamiljer som Llama, Gemma, Mistral, Qwen och DeepSeek i flera storlekar, och det har ett enkelt HTTP-API som andra program kan anropa.

Utvecklare använder det för att ta fram prototyper utan kostnad per token, och företag använder det när text inte får lämna den egna infrastrukturen, till exempel interna dokument eller kunddata.

När det körs på en server i stället för en laptop finns modellerna tillgängliga för hela teamet och för dina applikationer dygnet runt. Priset är hårdvaran: modellens storlek begränsas av serverns minne, och hastigheten beror på processorn. Modellerna sparas som filer på disken, så diskens storlek avgör också hur många du kan ha.

Vad den används till

En chatt som aldrig skickar ut data

Ställ frågor om känslig text i webbchatten och var trygg med att prompten behandlas på din egen server.

En modell bakom din egen app

Anropa modellen från din backend för sammanfattningar, klassificering eller extrahering, utan API-kostnad per anrop.

Testa olika öppna modeller

Ladda ner flera modeller och jämför hur de klarar dina verkliga uppgifter innan du väljer.

Efter beställningen

Ollama installeras på din server vid första starten tillsammans med en webbchatt på http://din-serveradress:3000/. Port 3000 öppnas i brandväggen. Logga in med e-postadressen och lösenordet som visas i Rivervo-panelen. Modeller laddas ner på servern: panelen visar kommandot för det (till exempel ollama pull llama3.2), och sedan dyker modellen upp i chatten.

Välj modell för din server

Hur stor modell servern klarar beror på minnet. Ollamas dokumentation ger en tumregel: minst 8 GB RAM för 7B-modeller, 16 GB för 13B-modeller och 32 GB för 33B-modeller. Utan GPU körs modellen på processorn, så fler kärnor ger snabbare svar. Ladda ner en modell från skalet, så dyker den upp i Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Egen domän och HTTPS för Open WebUI

Från start svarar Open WebUI på serverns IP-adress via vanlig HTTP. Vill du ge den ett namn som ai.example.com med certifikat skapar du en A-post för namnet som pekar på serverns IPv4-adress i din DNS och sätter Caddy framför: Caddy hämtar själv ett gratis Let's Encrypt-certifikat och förnyar det. Kommandona nedan gäller Ubuntu 24.04, som våra appservrar kör.

Öppna TCP-portarna 80 och 443 i serverns brandvägg i panelen: Caddy behöver dem för att hämta certifikatet från Let's Encrypt och för att visa webbplatsen.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

När domänen fungerar behöver ingen längre den öppna porten 3000: ändra "3000:…" till "127.0.0.1:3000:…" i /opt/ollama/compose.yml, kör docker compose up -d och ta bort port 3000 från brandväggen. Då nås Open WebUI bara via HTTPS.

Uppdatera Ollama

Avbildningarna i /opt/ollama/compose.yml är låsta till exakta versioner, så ett vanligt docker compose pull hämtar samma version igen. För att uppdatera ändrar du versionen på raden image: till den du vill ha (läs versionsanteckningarna först), hämtar sedan och skapar om containrarna. Datan ligger i Docker-volymer och behålls.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Backup av Ollama

I panelen kan du slå på daglig backup av hela servern (+20 % av paketpriset, de 7 senaste kopiorna sparas) och återställa servern från vilken som helst av dem. En kopia av appens egna data i en fil är ändå bra att ha: den kan flyttas till en annan server eller återställas utan att allt annat rullas tillbaka.

Chattar, användare och inställningar i Open WebUI finns i volymen ollama_open_webui. Nedladdade modeller ligger i ollama_ollama och kan enkelt laddas ner igen, så de brukar inte tas med i filbackupen:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Så fungerar det

  1. Välj Ollama på sidan där du beställer servern och välj ett paket med tillräckligt minne.
  2. Appen installeras på servern vid första start, oftast inom några minuter.
  3. Öppna servern i din panel: där finns adressen och inloggningsuppgifterna.

Frågor om Ollama

Minimum är 8 GB minne och 80 GB disk, vilket gott räcker för små modeller med några miljarder parametrar. En modell behöver ungefär lika mycket ledigt minne som filen är stor, så större modeller kräver ett paket med mer minne och disk.
Hastigheten beror på modellens storlek och serverns processorkärnor. Små modeller svarar i ett användbart tempo, stora märkbart långsammare. Börja smått och gå upp bara om kvaliteten kräver det.
Ja, det finns på både x86- och ARM-paket, vilket gör ARM till ett rimligt val för minneskrävande arbete med modeller.
Ollamas API (port 11434) publiceras inte på servern – det nås bara från Open WebUI inuti Docker. Vill du anropa det från egen kod kör du koden på samma server i samma Docker-nätverk, eller publicerar porten som `"127.0.0.1:11434:11434"` och använder en SSH-tunnel. Öppna det inte mot internet: det har inget lösenord.
Registrering är avstängd (`ENABLE_SIGNUP: "false"`), så utomstående kan inte skapa konto. Lägg själv till användare i adminpanelen i Open WebUI.