Ollama: open AI-modellen op je eigen server
Taalmodellen die op de processor en het geheugen van de server zelf draaien, met een webchat om ermee te praten, zodat prompts niet naar een externe API gaan.
Over Ollama
Ollama is een opensourcetool om taalmodellen met open gewichten met één commando te downloaden en te draaien. De bibliotheek bevat modelfamilies als Llama, Gemma, Mistral, Qwen en DeepSeek in verschillende groottes, en Ollama biedt een eenvoudige HTTP-API die andere programma's kunnen aanroepen.
Ontwikkelaars gebruiken het om functies te prototypen zonder kosten per token, en bedrijven gebruiken het als tekst hun eigen infrastructuur niet mag verlaten, bijvoorbeeld interne documenten of klantgegevens.
Draai je het op een server in plaats van een laptop, dan zijn de modellen op elk uur beschikbaar voor het hele team en voor je applicaties. De keerzijde is hardware: de modelgrootte wordt begrensd door het geheugen van de server, en de snelheid van genereren hangt af van de processor. Modellen staan als bestanden op schijf, dus de schijfruimte bepaalt ook hoeveel je er kunt bewaren.
Waarvoor mensen het gebruiken
Een chat die nooit data naar buiten stuurt
Stel in de browserchat vragen over gevoelige tekst, in de wetenschap dat de prompt op je eigen server wordt verwerkt.
Een model achter je eigen app
Roep het model aan vanuit je backend voor samenvattingen, classificatie of extractie, zonder API-rekening per verzoek.
Verschillende open modellen uitproberen
Download meerdere modellen en vergelijk hoe ze met je echte taken omgaan voordat je er een kiest.
Na je bestelling
Bij de eerste start wordt Ollama op je server geïnstalleerd, samen met een webchat op http://jouw-serveradres:3000/; poort 3000 wordt in de firewall geopend. Log in met het e-mailadres en wachtwoord uit het Rivervo-paneel. Modellen worden op de server gedownload: het paneel toont het commando daarvoor (bijvoorbeeld ollama pull llama3.2), en daarna verschijnt het model in de chat.
Een model kiezen voor je server
Hoe groot een model de server kan draaien, hangt af van het geheugen. De documentatie van Ollama geeft een ruwe richtlijn: minstens 8 GB RAM voor 7B-modellen, 16 GB voor 13B-modellen en 32 GB voor 33B-modellen. Zonder GPU draait het model op de processor, dus meer cores betekent snellere antwoorden. Download een model vanuit de shell; daarna verschijnt het in Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listEen eigen domein en HTTPS voor Open WebUI
Standaard antwoordt Open WebUI op het IP-adres van de server via gewoon HTTP. Wil je het een naam als ai.example.com met certificaat geven, maak dan in je DNS een A-record voor die naam aan dat naar het IPv4-adres van de server wijst, en zet Caddy ervoor: Caddy haalt zelf een gratis Let's Encrypt-certificaat op en verlengt het. De commando's hieronder zijn voor Ubuntu 24.04, waarop onze app-servers draaien.
Open in het paneel TCP-poort 80 en 443 in de firewall van de server: Caddy heeft ze nodig om het Let's Encrypt-certificaat op te halen en de site te serveren.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyWerkt het domein eenmaal, dan heeft niemand de kale poort 3000 nog nodig: verander in /opt/ollama/compose.yml "3000:…" in "127.0.0.1:3000:…", voer docker compose up -d uit en verwijder poort 3000 uit de firewall. Open WebUI is dan alleen nog via HTTPS bereikbaar.
Ollama bijwerken
De images in /opt/ollama/compose.yml staan vast op exacte versies, dus een gewone docker compose pull haalt opnieuw dezelfde versie op. Om bij te werken verander je de versie in de regel image: in de versie die je wilt (lees eerst de release notes), en daarna pull je de images en maak je de containers opnieuw aan. De data staat in Docker-volumes en blijft behouden.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dEen back-up van Ollama maken
In het paneel kun je dagelijkse back-ups van de hele server aanzetten (+20% van de pakketprijs, de laatste 7 kopieën worden bewaard) en de server uit elk ervan herstellen. Een kopie van de eigen data van de app in een bestand blijft toch handig: die kun je naar een andere server verplaatsen of terugzetten zonder al het andere terug te draaien.
Chats, gebruikers en instellingen van Open WebUI staan in het volume ollama_open_webui; gedownloade modellen staan in ollama_ollama en kun je gewoon opnieuw downloaden, dus die laat je meestal buiten de back-upbestanden:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startZo werkt het
- Kies Ollama op de bestelpagina van de server en neem een pakket met genoeg geheugen.
- De app wordt bij de eerste start op de server geïnstalleerd, meestal binnen een paar minuten.
- Open de server in je paneel: daar staan het adres en de inloggegevens.