Ollama: modelli AI aperti sul tuo server
Modelli linguistici che girano sul processore e sulla memoria del server, con una chat web per parlarci, così i prompt non vengono inviati a un'API esterna.
Informazioni su Ollama
Ollama è uno strumento open source per scaricare e far girare modelli linguistici a pesi aperti con un solo comando. La sua libreria comprende famiglie di modelli come Llama, Gemma, Mistral, Qwen e DeepSeek in varie dimensioni, ed espone una semplice API HTTP che altri programmi possono chiamare.
Gli sviluppatori lo usano per prototipare funzioni senza costi per token, le aziende quando i testi non devono lasciare la propria infrastruttura, ad esempio documenti interni o dati dei clienti.
Farlo girare su un server invece che su un portatile significa che i modelli sono disponibili a tutto il team e alle tue applicazioni a qualsiasi ora. Il compromesso è l'hardware: la dimensione del modello è limitata dalla memoria del server e la velocità di generazione dipende dal processore. I modelli sono salvati come file su disco, quindi anche lo spazio su disco limita quanti puoi tenerne.
A cosa serve
Una chat che non invia dati all'esterno
Fai domande su testi riservati nella chat del browser, sapendo che il prompt viene elaborato sul tuo server.
Un modello dietro la tua app
Chiama il modello dal tuo backend per riassunti, classificazione o estrazione di dati, senza una bolletta API per ogni richiesta.
Provare diversi modelli aperti
Scarica più modelli e confronta come gestiscono i tuoi compiti reali prima di sceglierne uno.
Dopo l'ordine
Ollama si installa sul tuo server al primo avvio insieme a una chat web su http://indirizzo-del-server:3000/; la porta 3000 viene aperta nel firewall. Accedi con l'email e la password indicate nel pannello Rivervo. I modelli si scaricano sul server: il pannello mostra il comando per farlo (ad esempio ollama pull llama3.2) e il modello compare poi nella chat.
Scegliere un modello per il tuo server
La dimensione del modello che il server può far girare dipende dalla memoria. La documentazione di Ollama dà un'indicazione di massima: almeno 8 GB di RAM per i modelli 7B, 16 GB per i 13B e 32 GB per i 33B. Senza GPU il modello gira sul processore, quindi più core significano risposte più veloci. Scarica un modello dalla shell e comparirà in Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listIl tuo dominio e HTTPS per Open WebUI
Di serie Open WebUI risponde sull'indirizzo IP del server in semplice HTTP. Per darle un nome come ai.example.com con un certificato, crea nel tuo DNS un record A per quel nome che punti all'indirizzo IPv4 del server, poi metti Caddy davanti: Caddy ottiene da solo un certificato Let's Encrypt gratuito e lo rinnova. I comandi qui sotto sono per Ubuntu 24.04, il sistema dei nostri server per le app.
Nel pannello apri le porte TCP 80 e 443 nel firewall del server: a Caddy servono per ottenere il certificato Let's Encrypt e per servire il sito.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyQuando il dominio funziona, la porta 3000 diretta non serve più a nessuno: in /opt/ollama/compose.yml cambia "3000:…" in "127.0.0.1:3000:…", esegui docker compose up -d e togli la porta 3000 dal firewall. A quel punto Open WebUI è raggiungibile solo in HTTPS.
Aggiornare Ollama
Le immagini in /opt/ollama/compose.yml sono fissate a versioni esatte, quindi un semplice docker compose pull riscarica la stessa versione. Per aggiornare, cambia la versione nella riga image: con quella che vuoi (prima leggi le note di rilascio), poi scarica e ricrea i container. I dati stanno nei volumi Docker e vengono conservati.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup di Ollama
Nel pannello puoi attivare i backup giornalieri dell'intero server (+20% del prezzo del piano, vengono conservate le ultime 7 copie) e ripristinare il server da uno qualsiasi di essi. Avere anche una copia dei dati dell'app in un file conviene comunque: si può spostare su un altro server o ripristinare senza riportare indietro tutto il resto.
Chat, utenti e impostazioni di Open WebUI si trovano nel volume ollama_open_webui; i modelli scaricati stanno in ollama_ollama e si possono semplicemente riscaricare, quindi di solito restano fuori dai backup su file:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCome funziona
- Scegli Ollama nella pagina di ordine del server e un piano con memoria sufficiente.
- L'app viene installata sul server al primo avvio, di solito in pochi minuti.
- Apri il server nel tuo pannello: lì trovi l'indirizzo e i dati di accesso.