Aan de slag
Alle VPS-apps
AI en agents

Ollama: open AI-modellen op je eigen server

Taalmodellen die op de processor en het geheugen van de server zelf draaien, met een webchat om ermee te praten, zodat prompts niet naar een externe API gaan.

Bestel een server met Ollama Bekijk VPS-pakketten

Over Ollama

Ollama is een opensourcetool om taalmodellen met open gewichten met één commando te downloaden en te draaien. De bibliotheek bevat modelfamilies als Llama, Gemma, Mistral, Qwen en DeepSeek in verschillende groottes, en Ollama biedt een eenvoudige HTTP-API die andere programma's kunnen aanroepen.

Ontwikkelaars gebruiken het om functies te prototypen zonder kosten per token, en bedrijven gebruiken het als tekst hun eigen infrastructuur niet mag verlaten, bijvoorbeeld interne documenten of klantgegevens.

Draai je het op een server in plaats van een laptop, dan zijn de modellen op elk uur beschikbaar voor het hele team en voor je applicaties. De keerzijde is hardware: de modelgrootte wordt begrensd door het geheugen van de server, en de snelheid van genereren hangt af van de processor. Modellen staan als bestanden op schijf, dus de schijfruimte bepaalt ook hoeveel je er kunt bewaren.

Waarvoor mensen het gebruiken

Een chat die nooit data naar buiten stuurt

Stel in de browserchat vragen over gevoelige tekst, in de wetenschap dat de prompt op je eigen server wordt verwerkt.

Een model achter je eigen app

Roep het model aan vanuit je backend voor samenvattingen, classificatie of extractie, zonder API-rekening per verzoek.

Verschillende open modellen uitproberen

Download meerdere modellen en vergelijk hoe ze met je echte taken omgaan voordat je er een kiest.

Na je bestelling

Bij de eerste start wordt Ollama op je server geïnstalleerd, samen met een webchat op http://jouw-serveradres:3000/; poort 3000 wordt in de firewall geopend. Log in met het e-mailadres en wachtwoord uit het Rivervo-paneel. Modellen worden op de server gedownload: het paneel toont het commando daarvoor (bijvoorbeeld ollama pull llama3.2), en daarna verschijnt het model in de chat.

Een model kiezen voor je server

Hoe groot een model de server kan draaien, hangt af van het geheugen. De documentatie van Ollama geeft een ruwe richtlijn: minstens 8 GB RAM voor 7B-modellen, 16 GB voor 13B-modellen en 32 GB voor 33B-modellen. Zonder GPU draait het model op de processor, dus meer cores betekent snellere antwoorden. Download een model vanuit de shell; daarna verschijnt het in Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Een eigen domein en HTTPS voor Open WebUI

Standaard antwoordt Open WebUI op het IP-adres van de server via gewoon HTTP. Wil je het een naam als ai.example.com met certificaat geven, maak dan in je DNS een A-record voor die naam aan dat naar het IPv4-adres van de server wijst, en zet Caddy ervoor: Caddy haalt zelf een gratis Let's Encrypt-certificaat op en verlengt het. De commando's hieronder zijn voor Ubuntu 24.04, waarop onze app-servers draaien.

Open in het paneel TCP-poort 80 en 443 in de firewall van de server: Caddy heeft ze nodig om het Let's Encrypt-certificaat op te halen en de site te serveren.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Werkt het domein eenmaal, dan heeft niemand de kale poort 3000 nog nodig: verander in /opt/ollama/compose.yml "3000:…" in "127.0.0.1:3000:…", voer docker compose up -d uit en verwijder poort 3000 uit de firewall. Open WebUI is dan alleen nog via HTTPS bereikbaar.

Ollama bijwerken

De images in /opt/ollama/compose.yml staan vast op exacte versies, dus een gewone docker compose pull haalt opnieuw dezelfde versie op. Om bij te werken verander je de versie in de regel image: in de versie die je wilt (lees eerst de release notes), en daarna pull je de images en maak je de containers opnieuw aan. De data staat in Docker-volumes en blijft behouden.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Een back-up van Ollama maken

In het paneel kun je dagelijkse back-ups van de hele server aanzetten (+20% van de pakketprijs, de laatste 7 kopieën worden bewaard) en de server uit elk ervan herstellen. Een kopie van de eigen data van de app in een bestand blijft toch handig: die kun je naar een andere server verplaatsen of terugzetten zonder al het andere terug te draaien.

Chats, gebruikers en instellingen van Open WebUI staan in het volume ollama_open_webui; gedownloade modellen staan in ollama_ollama en kun je gewoon opnieuw downloaden, dus die laat je meestal buiten de back-upbestanden:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Zo werkt het

  1. Kies Ollama op de bestelpagina van de server en neem een pakket met genoeg geheugen.
  2. De app wordt bij de eerste start op de server geïnstalleerd, meestal binnen een paar minuten.
  3. Open de server in je paneel: daar staan het adres en de inloggegevens.

Vragen over Ollama

8 GB geheugen en 80 GB schijfruimte is het minimum; daar passen kleine modellen van een paar miljard parameters ruim in. Een model heeft ongeveer evenveel vrij geheugen nodig als de bestandsgrootte, dus grotere modellen vragen een pakket met meer geheugen en schijfruimte.
De snelheid hangt af van de modelgrootte en de processorcores van de server. Kleine modellen antwoorden in een bruikbaar tempo; grote zijn merkbaar trager, dus begin klein en ga pas omhoog als de kwaliteit dat vraagt.
Ja, het is beschikbaar op zowel x86- als ARM-pakketten, waardoor ARM een redelijke optie is voor geheugenintensief werk met modellen.
De API van Ollama (poort 11434) is niet gepubliceerd op de server; hij is alleen bereikbaar vanuit Open WebUI binnen Docker. Wil je hem vanuit je eigen code aanroepen, draai die code dan op dezelfde server in hetzelfde Docker-netwerk, of publiceer de poort als `"127.0.0.1:11434:11434"` en gebruik een SSH-tunnel. Zet hem niet open naar internet: er zit geen wachtwoord op.
Aanmelden staat uit (`ENABLE_SIGNUP: "false"`), dus vreemden kunnen zich niet registreren. Voeg gebruikers zelf toe in het beheerpaneel van Open WebUI.