Inizia ora
Tutte le app per VPS
AI e agenti

Ollama: modelli AI aperti sul tuo server

Modelli linguistici che girano sul processore e sulla memoria del server, con una chat web per parlarci, così i prompt non vengono inviati a un'API esterna.

Ordina un server con Ollama Vedi i piani VPS

Informazioni su Ollama

Ollama è uno strumento open source per scaricare e far girare modelli linguistici a pesi aperti con un solo comando. La sua libreria comprende famiglie di modelli come Llama, Gemma, Mistral, Qwen e DeepSeek in varie dimensioni, ed espone una semplice API HTTP che altri programmi possono chiamare.

Gli sviluppatori lo usano per prototipare funzioni senza costi per token, le aziende quando i testi non devono lasciare la propria infrastruttura, ad esempio documenti interni o dati dei clienti.

Farlo girare su un server invece che su un portatile significa che i modelli sono disponibili a tutto il team e alle tue applicazioni a qualsiasi ora. Il compromesso è l'hardware: la dimensione del modello è limitata dalla memoria del server e la velocità di generazione dipende dal processore. I modelli sono salvati come file su disco, quindi anche lo spazio su disco limita quanti puoi tenerne.

A cosa serve

Una chat che non invia dati all'esterno

Fai domande su testi riservati nella chat del browser, sapendo che il prompt viene elaborato sul tuo server.

Un modello dietro la tua app

Chiama il modello dal tuo backend per riassunti, classificazione o estrazione di dati, senza una bolletta API per ogni richiesta.

Provare diversi modelli aperti

Scarica più modelli e confronta come gestiscono i tuoi compiti reali prima di sceglierne uno.

Dopo l'ordine

Ollama si installa sul tuo server al primo avvio insieme a una chat web su http://indirizzo-del-server:3000/; la porta 3000 viene aperta nel firewall. Accedi con l'email e la password indicate nel pannello Rivervo. I modelli si scaricano sul server: il pannello mostra il comando per farlo (ad esempio ollama pull llama3.2) e il modello compare poi nella chat.

Scegliere un modello per il tuo server

La dimensione del modello che il server può far girare dipende dalla memoria. La documentazione di Ollama dà un'indicazione di massima: almeno 8 GB di RAM per i modelli 7B, 16 GB per i 13B e 32 GB per i 33B. Senza GPU il modello gira sul processore, quindi più core significano risposte più veloci. Scarica un modello dalla shell e comparirà in Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Il tuo dominio e HTTPS per Open WebUI

Di serie Open WebUI risponde sull'indirizzo IP del server in semplice HTTP. Per darle un nome come ai.example.com con un certificato, crea nel tuo DNS un record A per quel nome che punti all'indirizzo IPv4 del server, poi metti Caddy davanti: Caddy ottiene da solo un certificato Let's Encrypt gratuito e lo rinnova. I comandi qui sotto sono per Ubuntu 24.04, il sistema dei nostri server per le app.

Nel pannello apri le porte TCP 80 e 443 nel firewall del server: a Caddy servono per ottenere il certificato Let's Encrypt e per servire il sito.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Quando il dominio funziona, la porta 3000 diretta non serve più a nessuno: in /opt/ollama/compose.yml cambia "3000:…" in "127.0.0.1:3000:…", esegui docker compose up -d e togli la porta 3000 dal firewall. A quel punto Open WebUI è raggiungibile solo in HTTPS.

Aggiornare Ollama

Le immagini in /opt/ollama/compose.yml sono fissate a versioni esatte, quindi un semplice docker compose pull riscarica la stessa versione. Per aggiornare, cambia la versione nella riga image: con quella che vuoi (prima leggi le note di rilascio), poi scarica e ricrea i container. I dati stanno nei volumi Docker e vengono conservati.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Backup di Ollama

Nel pannello puoi attivare i backup giornalieri dell'intero server (+20% del prezzo del piano, vengono conservate le ultime 7 copie) e ripristinare il server da uno qualsiasi di essi. Avere anche una copia dei dati dell'app in un file conviene comunque: si può spostare su un altro server o ripristinare senza riportare indietro tutto il resto.

Chat, utenti e impostazioni di Open WebUI si trovano nel volume ollama_open_webui; i modelli scaricati stanno in ollama_ollama e si possono semplicemente riscaricare, quindi di solito restano fuori dai backup su file:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Come funziona

  1. Scegli Ollama nella pagina di ordine del server e un piano con memoria sufficiente.
  2. L'app viene installata sul server al primo avvio, di solito in pochi minuti.
  3. Apri il server nel tuo pannello: lì trovi l'indirizzo e i dati di accesso.

Domande su Ollama

Il minimo è 8 GB di memoria e 80 GB di disco, che bastano senza problemi per modelli piccoli da qualche miliardo di parametri. Un modello ha bisogno di circa tanta memoria libera quanto pesa il suo file, quindi i modelli più grandi richiedono un piano con più memoria e disco.
La velocità dipende dalla dimensione del modello e dai core del processore del server. I modelli piccoli rispondono a un ritmo utilizzabile, quelli grandi sono sensibilmente più lenti: parti da uno piccolo e sali solo se la qualità lo richiede.
Sì, è disponibile sia sui piani x86 sia su quelli ARM, il che rende ARM un'opzione sensata per il lavoro sui modelli, che richiede molta memoria.
L'API di Ollama (porta 11434) non è pubblicata sul server: è raggiungibile solo da Open WebUI dentro Docker. Per chiamarla dal tuo codice, fai girare quel codice sullo stesso server nella stessa rete Docker, oppure pubblica la porta come `"127.0.0.1:11434:11434"` e usa un tunnel SSH. Non aprirla a internet: non ha password.
La registrazione è disattivata (`ENABLE_SIGNUP: "false"`), quindi gli sconosciuti non possono iscriversi. Aggiungi tu gli utenti nel pannello di amministrazione di Open WebUI.