Ollama: offene AI-Modelle auf Ihrem eigenen Server
Sprachmodelle, die auf Prozessor und Arbeitsspeicher des Servers selbst laufen, mit einem Web-Chat dazu – Ihre Prompts gehen an keine externe API.
Über Ollama
Ollama ist ein Open-Source-Werkzeug, mit dem Sie Sprachmodelle mit offenen Gewichten mit einem einzigen Befehl herunterladen und ausführen. Die Bibliothek umfasst Modellfamilien wie Llama, Gemma, Mistral, Qwen und DeepSeek in verschiedenen Größen, und Ollama stellt eine einfache HTTP-API bereit, die andere Programme aufrufen können.
Entwickler nutzen Ollama, um Funktionen ohne Kosten pro Token zu prototypisieren, und Unternehmen setzen es ein, wenn Texte die eigene Infrastruktur nicht verlassen dürfen – etwa interne Dokumente oder Kundendaten.
Auf einem Server statt auf einem Laptop stehen die Modelle dem ganzen Team und Ihren Anwendungen rund um die Uhr zur Verfügung. Der Preis dafür ist die Hardware: Die Modellgröße wird durch den Arbeitsspeicher des Servers begrenzt, und die Geschwindigkeit der Textgenerierung hängt vom Prozessor ab. Modelle liegen als Dateien auf der Festplatte, daher begrenzt auch der Speicherplatz, wie viele Sie behalten können.
Wofür es genutzt wird
Ein Chat, der keine Daten nach außen schickt
Stellen Sie im Browser-Chat Fragen zu vertraulichen Texten – in dem Wissen, dass der Prompt auf Ihrem Server verarbeitet wird.
Ein Modell hinter Ihrer eigenen App
Rufen Sie das Modell aus Ihrem Backend für Zusammenfassungen, Klassifizierung oder Datenextraktion auf – ohne API-Rechnung pro Anfrage.
Verschiedene offene Modelle ausprobieren
Laden Sie mehrere Modelle herunter und vergleichen Sie, wie sie Ihre echten Aufgaben bewältigen, bevor Sie sich für eines entscheiden.
Nach der Bestellung
Ollama wird beim ersten Start Ihres Servers installiert, zusammen mit einem Web-Chat unter http://ihre-serveradresse:3000/; Port 3000 wird in der Firewall geöffnet. Melden Sie sich mit der E-Mail-Adresse und dem Passwort aus dem Rivervo-Panel an. Die Modelle werden auf dem Server heruntergeladen: Das Panel zeigt den Befehl dafür (als Beispiel ollama pull llama3.2), danach erscheint das Modell im Chat.
Das passende Modell für Ihren Server
Wie groß ein Modell sein darf, hängt vom Arbeitsspeicher ab. Die Dokumentation von Ollama nennt als grobe Orientierung: mindestens 8 GB RAM für 7B-Modelle, 16 GB für 13B-Modelle und 32 GB für 33B-Modelle. Ohne GPU läuft das Modell auf dem Prozessor – mehr Kerne bedeuten also schnellere Antworten. Laden Sie ein Modell in der Shell herunter, danach erscheint es in Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listEigene Domain und HTTPS für Open WebUI
Ab Werk antwortet Open WebUI unter der IP-Adresse des Servers über unverschlüsseltes HTTP. Um einen Namen wie ai.example.com mit Zertifikat zu vergeben, legen Sie in Ihrem DNS für diesen Namen einen A-Eintrag an, der auf die IPv4-Adresse des Servers zeigt, und setzen dann Caddy davor: Caddy holt sich selbst ein kostenloses Let's-Encrypt-Zertifikat und verlängert es. Die folgenden Befehle gelten für Ubuntu 24.04, auf dem unsere App-Server laufen.
Öffnen Sie im Panel die TCP-Ports 80 und 443 in der Firewall des Servers: Caddy braucht sie, um das Let's-Encrypt-Zertifikat zu erhalten und die Website auszuliefern.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddySobald die Domain funktioniert, braucht niemand mehr den direkten Port 3000: Ändern Sie in /opt/ollama/compose.yml "3000:…" in "127.0.0.1:3000:…", führen Sie docker compose up -d aus und entfernen Sie Port 3000 aus der Firewall. Open WebUI ist dann nur noch über HTTPS erreichbar.
Ollama aktualisieren
Die Images in /opt/ollama/compose.yml sind auf exakte Versionen festgelegt, ein einfaches docker compose pull holt also wieder dieselbe Version. Für ein Update ändern Sie die Version in der Zeile image: auf die gewünschte (lesen Sie vorher die Release Notes), laden die Images und erstellen die Container neu. Die Daten liegen in Docker-Volumes und bleiben erhalten.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllama sichern
Im Panel können Sie tägliche Backups des gesamten Servers aktivieren (+20 % des Tarifpreises, die letzten 7 Kopien werden aufbewahrt) und den Server aus jeder dieser Kopien wiederherstellen. Eine Kopie der Anwendungsdaten als Datei lohnt sich trotzdem: Sie lässt sich auf einen anderen Server übertragen oder wiederherstellen, ohne alles andere zurückzusetzen.
Chats, Benutzer und Einstellungen von Open WebUI liegen im Volume ollama_open_webui; heruntergeladene Modelle liegen in ollama_ollama und lassen sich einfach erneut herunterladen, deshalb bleiben sie bei Datei-Backups meist außen vor:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startSo funktioniert es
- Wählen Sie Ollama auf der Bestellseite für den Server und einen Tarif mit genügend Arbeitsspeicher.
- Die App wird beim ersten Start auf dem Server installiert, meist innerhalb weniger Minuten.
- Öffnen Sie den Server in Ihrem Panel: Dort finden Sie Adresse und Zugangsdaten.