Ollama : des modèles AI ouverts sur votre propre serveur
Des modèles de langage qui tournent sur le processeur et la mémoire du serveur, avec un chat web pour leur parler : vos prompts ne partent pas vers une API extérieure.
À propos de Ollama
Ollama est un outil open source qui télécharge et fait tourner des modèles de langage à poids ouverts en une seule commande. Sa bibliothèque comprend des familles de modèles comme Llama, Gemma, Mistral, Qwen et DeepSeek en plusieurs tailles, et il expose une API HTTP simple que d'autres programmes peuvent appeler.
Les développeurs s'en servent pour prototyper des fonctionnalités sans coût au token, et les entreprises l'utilisent quand des textes ne doivent pas quitter leur propre infrastructure, par exemple des documents internes ou des données clients.
Le faire tourner sur un serveur plutôt que sur un portable rend les modèles disponibles à toute l'équipe et à vos applications à toute heure. La contrepartie, c'est le matériel : la taille du modèle est limitée par la mémoire du serveur, et la vitesse de génération dépend de son processeur. Les modèles sont stockés sous forme de fichiers sur le disque : la taille du disque limite donc aussi le nombre de modèles que vous pouvez garder.
À quoi ça sert
Un chat qui n'envoie jamais de données à l'extérieur
Posez des questions sur des textes sensibles dans le chat du navigateur, en sachant que le prompt est traité sur votre serveur.
Un modèle derrière votre propre application
Appelez le modèle depuis votre backend pour des résumés, de la classification ou de l'extraction, sans facture d'API à la requête.
Essayer différents modèles ouverts
Téléchargez plusieurs modèles et comparez leur façon de traiter vos tâches réelles avant d'en choisir un.
Après la commande
Ollama est installé sur votre serveur dès son premier démarrage, avec un chat web à l'adresse http://adresse-de-votre-serveur:3000/ ; le port 3000 est ouvert dans le pare-feu. Connectez-vous avec l'e-mail et le mot de passe affichés dans le panel Rivervo. Les modèles se téléchargent sur le serveur : le panel affiche la commande pour cela (par exemple ollama pull llama3.2), et le modèle apparaît ensuite dans le chat.
Choisir un modèle adapté à votre serveur
La taille de modèle que le serveur peut faire tourner dépend de la mémoire. La documentation d'Ollama donne un ordre d'idée : au moins 8 Go de RAM pour les modèles 7B, 16 Go pour les modèles 13B et 32 Go pour les modèles 33B. Sans GPU, le modèle tourne sur le processeur : plus il y a de cœurs, plus les réponses sont rapides. Téléchargez un modèle depuis le shell, il apparaît ensuite dans Open WebUI :
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listVotre propre nom de domaine et HTTPS pour Open WebUI
Par défaut, Open WebUI répond sur l'adresse IP du serveur en HTTP simple. Pour lui donner un nom comme ai.example.com avec un certificat, créez dans votre DNS un enregistrement A pour ce nom qui pointe vers l'adresse IPv4 du serveur, puis placez Caddy devant : Caddy obtient tout seul un certificat Let's Encrypt gratuit et le renouvelle. Les commandes ci-dessous concernent Ubuntu 24.04, le système de nos serveurs d'applications.
Dans le panel, ouvrez les ports TCP 80 et 443 dans le pare-feu du serveur : Caddy en a besoin pour obtenir le certificat Let's Encrypt et servir le site.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyUne fois le nom de domaine opérationnel, plus personne n'a besoin du port 3000 brut : dans /opt/ollama/compose.yml, remplacez "3000:…" par "127.0.0.1:3000:…", lancez docker compose up -d et retirez le port 3000 du pare-feu. Open WebUI n'est alors accessible qu'en HTTPS.
Mettre à jour Ollama
Les images de /opt/ollama/compose.yml sont figées sur des versions précises : un simple docker compose pull télécharge donc à nouveau la même version. Pour mettre à jour, remplacez la version dans la ligne image: par celle que vous voulez (lisez d'abord les notes de version), puis téléchargez les images et recréez les conteneurs. Les données se trouvent dans des volumes Docker et sont conservées.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dSauvegarder Ollama
Dans le panel, vous pouvez activer des sauvegardes quotidiennes de tout le serveur (+20 % du prix de l'offre, les 7 dernières copies sont conservées) et restaurer le serveur à partir de n'importe laquelle d'entre elles. Une copie des données de l'application dans un fichier reste utile : elle peut être déplacée vers un autre serveur ou restaurée sans revenir en arrière sur tout le reste.
Les conversations, les utilisateurs et les réglages d'Open WebUI se trouvent dans le volume ollama_open_webui ; les modèles téléchargés sont dans ollama_ollama et peuvent simplement être téléchargés à nouveau, c'est pourquoi on les exclut généralement des sauvegardes de fichiers :
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startComment ça marche
- Choisissez Ollama sur la page de commande du serveur et prenez une offre avec assez de mémoire.
- L'application est installée sur le serveur au premier démarrage, généralement en quelques minutes.
- Ouvrez le serveur dans votre panel : l'adresse et les identifiants de connexion s'y trouvent.