Jetzt starten
Alle VPS-Apps
AI und Agenten

Ollama: offene AI-Modelle auf Ihrem eigenen Server

Sprachmodelle, die auf Prozessor und Arbeitsspeicher des Servers selbst laufen, mit einem Web-Chat dazu – Ihre Prompts gehen an keine externe API.

Server mit Ollama bestellen VPS-Tarife ansehen

Über Ollama

Ollama ist ein Open-Source-Werkzeug, mit dem Sie Sprachmodelle mit offenen Gewichten mit einem einzigen Befehl herunterladen und ausführen. Die Bibliothek umfasst Modellfamilien wie Llama, Gemma, Mistral, Qwen und DeepSeek in verschiedenen Größen, und Ollama stellt eine einfache HTTP-API bereit, die andere Programme aufrufen können.

Entwickler nutzen Ollama, um Funktionen ohne Kosten pro Token zu prototypisieren, und Unternehmen setzen es ein, wenn Texte die eigene Infrastruktur nicht verlassen dürfen – etwa interne Dokumente oder Kundendaten.

Auf einem Server statt auf einem Laptop stehen die Modelle dem ganzen Team und Ihren Anwendungen rund um die Uhr zur Verfügung. Der Preis dafür ist die Hardware: Die Modellgröße wird durch den Arbeitsspeicher des Servers begrenzt, und die Geschwindigkeit der Textgenerierung hängt vom Prozessor ab. Modelle liegen als Dateien auf der Festplatte, daher begrenzt auch der Speicherplatz, wie viele Sie behalten können.

Wofür es genutzt wird

Ein Chat, der keine Daten nach außen schickt

Stellen Sie im Browser-Chat Fragen zu vertraulichen Texten – in dem Wissen, dass der Prompt auf Ihrem Server verarbeitet wird.

Ein Modell hinter Ihrer eigenen App

Rufen Sie das Modell aus Ihrem Backend für Zusammenfassungen, Klassifizierung oder Datenextraktion auf – ohne API-Rechnung pro Anfrage.

Verschiedene offene Modelle ausprobieren

Laden Sie mehrere Modelle herunter und vergleichen Sie, wie sie Ihre echten Aufgaben bewältigen, bevor Sie sich für eines entscheiden.

Nach der Bestellung

Ollama wird beim ersten Start Ihres Servers installiert, zusammen mit einem Web-Chat unter http://ihre-serveradresse:3000/; Port 3000 wird in der Firewall geöffnet. Melden Sie sich mit der E-Mail-Adresse und dem Passwort aus dem Rivervo-Panel an. Die Modelle werden auf dem Server heruntergeladen: Das Panel zeigt den Befehl dafür (als Beispiel ollama pull llama3.2), danach erscheint das Modell im Chat.

Das passende Modell für Ihren Server

Wie groß ein Modell sein darf, hängt vom Arbeitsspeicher ab. Die Dokumentation von Ollama nennt als grobe Orientierung: mindestens 8 GB RAM für 7B-Modelle, 16 GB für 13B-Modelle und 32 GB für 33B-Modelle. Ohne GPU läuft das Modell auf dem Prozessor – mehr Kerne bedeuten also schnellere Antworten. Laden Sie ein Modell in der Shell herunter, danach erscheint es in Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Eigene Domain und HTTPS für Open WebUI

Ab Werk antwortet Open WebUI unter der IP-Adresse des Servers über unverschlüsseltes HTTP. Um einen Namen wie ai.example.com mit Zertifikat zu vergeben, legen Sie in Ihrem DNS für diesen Namen einen A-Eintrag an, der auf die IPv4-Adresse des Servers zeigt, und setzen dann Caddy davor: Caddy holt sich selbst ein kostenloses Let's-Encrypt-Zertifikat und verlängert es. Die folgenden Befehle gelten für Ubuntu 24.04, auf dem unsere App-Server laufen.

Öffnen Sie im Panel die TCP-Ports 80 und 443 in der Firewall des Servers: Caddy braucht sie, um das Let's-Encrypt-Zertifikat zu erhalten und die Website auszuliefern.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Sobald die Domain funktioniert, braucht niemand mehr den direkten Port 3000: Ändern Sie in /opt/ollama/compose.yml "3000:…" in "127.0.0.1:3000:…", führen Sie docker compose up -d aus und entfernen Sie Port 3000 aus der Firewall. Open WebUI ist dann nur noch über HTTPS erreichbar.

Ollama aktualisieren

Die Images in /opt/ollama/compose.yml sind auf exakte Versionen festgelegt, ein einfaches docker compose pull holt also wieder dieselbe Version. Für ein Update ändern Sie die Version in der Zeile image: auf die gewünschte (lesen Sie vorher die Release Notes), laden die Images und erstellen die Container neu. Die Daten liegen in Docker-Volumes und bleiben erhalten.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollama sichern

Im Panel können Sie tägliche Backups des gesamten Servers aktivieren (+20 % des Tarifpreises, die letzten 7 Kopien werden aufbewahrt) und den Server aus jeder dieser Kopien wiederherstellen. Eine Kopie der Anwendungsdaten als Datei lohnt sich trotzdem: Sie lässt sich auf einen anderen Server übertragen oder wiederherstellen, ohne alles andere zurückzusetzen.

Chats, Benutzer und Einstellungen von Open WebUI liegen im Volume ollama_open_webui; heruntergeladene Modelle liegen in ollama_ollama und lassen sich einfach erneut herunterladen, deshalb bleiben sie bei Datei-Backups meist außen vor:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

So funktioniert es

  1. Wählen Sie Ollama auf der Bestellseite für den Server und einen Tarif mit genügend Arbeitsspeicher.
  2. Die App wird beim ersten Start auf dem Server installiert, meist innerhalb weniger Minuten.
  3. Öffnen Sie den Server in Ihrem Panel: Dort finden Sie Adresse und Zugangsdaten.

Fragen zu Ollama

Das Minimum sind 8 GB Arbeitsspeicher und 80 GB Speicherplatz – genug für kleine Modelle mit einigen Milliarden Parametern. Ein Modell braucht ungefähr so viel freien Arbeitsspeicher, wie seine Datei groß ist; größere Modelle brauchen also einen Tarif mit mehr Arbeitsspeicher und Speicherplatz.
Die Geschwindigkeit hängt von der Modellgröße und den Prozessorkernen des Servers ab. Kleine Modelle antworten in brauchbarem Tempo, große sind spürbar langsamer – beginnen Sie also klein und steigen Sie nur auf, wenn die Qualität es erfordert.
Ja, Ollama ist für x86- und ARM-Tarife verfügbar. Damit ist ARM eine sinnvolle Option für speicherintensive Arbeit mit Modellen.
Die API von Ollama (Port 11434) ist auf dem Server nicht veröffentlicht, sie ist nur für Open WebUI innerhalb von Docker erreichbar. Um sie aus Ihrem eigenen Code aufzurufen, lassen Sie diesen Code auf demselben Server im selben Docker-Netzwerk laufen, oder veröffentlichen Sie den Port als `"127.0.0.1:11434:11434"` und nutzen einen SSH-Tunnel. Öffnen Sie sie nicht zum Internet: Sie hat kein Passwort.
Die Registrierung ist ausgeschaltet (`ENABLE_SIGNUP: "false"`), Fremde können sich also nicht anmelden. Weitere Nutzer fügen Sie selbst im Admin-Bereich von Open WebUI hinzu.