Ollama: öppna AI-modeller på din egen server
Språkmodeller som körs på serverns egen processor och minne, med en webbchatt att prata med dem i. Dina prompter skickas alltså inte till något externt API.
Om Ollama
Ollama är ett verktyg med öppen källkod för att ladda ner och köra språkmodeller med öppna vikter med ett enda kommando. Biblioteket innehåller modellfamiljer som Llama, Gemma, Mistral, Qwen och DeepSeek i flera storlekar, och det har ett enkelt HTTP-API som andra program kan anropa.
Utvecklare använder det för att ta fram prototyper utan kostnad per token, och företag använder det när text inte får lämna den egna infrastrukturen, till exempel interna dokument eller kunddata.
När det körs på en server i stället för en laptop finns modellerna tillgängliga för hela teamet och för dina applikationer dygnet runt. Priset är hårdvaran: modellens storlek begränsas av serverns minne, och hastigheten beror på processorn. Modellerna sparas som filer på disken, så diskens storlek avgör också hur många du kan ha.
Vad den används till
En chatt som aldrig skickar ut data
Ställ frågor om känslig text i webbchatten och var trygg med att prompten behandlas på din egen server.
En modell bakom din egen app
Anropa modellen från din backend för sammanfattningar, klassificering eller extrahering, utan API-kostnad per anrop.
Testa olika öppna modeller
Ladda ner flera modeller och jämför hur de klarar dina verkliga uppgifter innan du väljer.
Efter beställningen
Ollama installeras på din server vid första starten tillsammans med en webbchatt på http://din-serveradress:3000/. Port 3000 öppnas i brandväggen. Logga in med e-postadressen och lösenordet som visas i Rivervo-panelen. Modeller laddas ner på servern: panelen visar kommandot för det (till exempel ollama pull llama3.2), och sedan dyker modellen upp i chatten.
Välj modell för din server
Hur stor modell servern klarar beror på minnet. Ollamas dokumentation ger en tumregel: minst 8 GB RAM för 7B-modeller, 16 GB för 13B-modeller och 32 GB för 33B-modeller. Utan GPU körs modellen på processorn, så fler kärnor ger snabbare svar. Ladda ner en modell från skalet, så dyker den upp i Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listEgen domän och HTTPS för Open WebUI
Från start svarar Open WebUI på serverns IP-adress via vanlig HTTP. Vill du ge den ett namn som ai.example.com med certifikat skapar du en A-post för namnet som pekar på serverns IPv4-adress i din DNS och sätter Caddy framför: Caddy hämtar själv ett gratis Let's Encrypt-certifikat och förnyar det. Kommandona nedan gäller Ubuntu 24.04, som våra appservrar kör.
Öppna TCP-portarna 80 och 443 i serverns brandvägg i panelen: Caddy behöver dem för att hämta certifikatet från Let's Encrypt och för att visa webbplatsen.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyNär domänen fungerar behöver ingen längre den öppna porten 3000: ändra "3000:…" till "127.0.0.1:3000:…" i /opt/ollama/compose.yml, kör docker compose up -d och ta bort port 3000 från brandväggen. Då nås Open WebUI bara via HTTPS.
Uppdatera Ollama
Avbildningarna i /opt/ollama/compose.yml är låsta till exakta versioner, så ett vanligt docker compose pull hämtar samma version igen. För att uppdatera ändrar du versionen på raden image: till den du vill ha (läs versionsanteckningarna först), hämtar sedan och skapar om containrarna. Datan ligger i Docker-volymer och behålls.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup av Ollama
I panelen kan du slå på daglig backup av hela servern (+20 % av paketpriset, de 7 senaste kopiorna sparas) och återställa servern från vilken som helst av dem. En kopia av appens egna data i en fil är ändå bra att ha: den kan flyttas till en annan server eller återställas utan att allt annat rullas tillbaka.
Chattar, användare och inställningar i Open WebUI finns i volymen ollama_open_webui. Nedladdade modeller ligger i ollama_ollama och kan enkelt laddas ner igen, så de brukar inte tas med i filbackupen:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startSå fungerar det
- Välj Ollama på sidan där du beställer servern och välj ett paket med tillräckligt minne.
- Appen installeras på servern vid första start, oftast inom några minuter.
- Öppna servern i din panel: där finns adressen och inloggningsuppgifterna.