Ollama: ανοιχτά μοντέλα AI στον δικό σου server
Γλωσσικά μοντέλα που τρέχουν στον επεξεργαστή και τη μνήμη του server, με web chat για να τους μιλάς, ώστε τα prompts να μη στέλνονται σε εξωτερικό API.
Σχετικά με το Ollama
Το Ollama είναι open-source εργαλείο για να κατεβάζεις και να τρέχεις γλωσσικά μοντέλα ανοιχτών βαρών με μία εντολή. Η βιβλιοθήκη του περιλαμβάνει οικογένειες μοντέλων όπως Llama, Gemma, Mistral, Qwen και DeepSeek σε διάφορα μεγέθη και προσφέρει ένα απλό HTTP API που μπορούν να καλούν άλλα προγράμματα.
Οι developers το χρησιμοποιούν για να δοκιμάζουν λειτουργίες χωρίς κόστος ανά token, και οι εταιρείες όταν τα κείμενα δεν πρέπει να φεύγουν από τη δική τους υποδομή, για παράδειγμα εσωτερικά έγγραφα ή δεδομένα πελατών.
Σε server αντί για laptop, τα μοντέλα είναι διαθέσιμα σε όλη την ομάδα και στις εφαρμογές σου οποιαδήποτε ώρα. Το αντίτιμο είναι το hardware: το μέγεθος του μοντέλου περιορίζεται από τη μνήμη του server και η ταχύτητα παραγωγής εξαρτάται από τον επεξεργαστή. Τα μοντέλα αποθηκεύονται ως αρχεία στον δίσκο, οπότε και ο δίσκος περιορίζει πόσα μπορείς να κρατάς.
Για τι το χρησιμοποιούν
Chat που δεν στέλνει ποτέ δεδομένα έξω
Κάνε ερωτήσεις για ευαίσθητα κείμενα στο chat του browser, ξέροντας ότι το prompt επεξεργάζεται στον server σου.
Μοντέλο πίσω από τη δική σου εφαρμογή
Κάλεσε το μοντέλο από το backend σου για περιλήψεις, κατηγοριοποίηση ή εξαγωγή δεδομένων, χωρίς χρέωση API ανά αίτημα.
Δοκιμή διαφορετικών ανοιχτών μοντέλων
Κατέβασε μερικά μοντέλα και σύγκρινε πώς χειρίζονται τις πραγματικές σου εργασίες πριν διαλέξεις.
Μετά την παραγγελία
Το Ollama εγκαθίσταται στον server σου με την πρώτη εκκίνηση μαζί με web chat στο http://<διεύθυνση server>:3000/· η θύρα 3000 είναι ανοιχτή στο firewall. Συνδέσου με το email και τον κωδικό που δείχνει το panel της Rivervo. Τα μοντέλα κατεβαίνουν στον server: το panel δείχνει την εντολή (για παράδειγμα ollama pull llama3.2) και μετά το μοντέλο εμφανίζεται στο chat.
Επιλογή μοντέλου για τον server σου
Το πόσο μεγάλο μοντέλο μπορεί να τρέξει ο server εξαρτάται από τη μνήμη. Η τεκμηρίωση του Ollama δίνει έναν πρόχειρο οδηγό: τουλάχιστον 8 GB RAM για μοντέλα 7B, 16 GB για 13B και 32 GB για 33B. Χωρίς GPU το μοντέλο τρέχει στον επεξεργαστή, οπότε περισσότεροι πυρήνες σημαίνουν πιο γρήγορες απαντήσεις. Κατέβασε ένα μοντέλο από το shell και θα εμφανιστεί στο Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listΔικό σου domain και HTTPS για το Open WebUI
Αρχικά το Open WebUI απαντά στη διεύθυνση IP του server μέσω απλού HTTP. Για να του δώσεις όνομα όπως ai.etaireia.gr με πιστοποιητικό, δημιούργησε στο DNS σου μια εγγραφή A για αυτό το όνομα που δείχνει στη διεύθυνση IPv4 του server και βάλε μπροστά το Caddy: το Caddy παίρνει μόνο του δωρεάν πιστοποιητικό Let's Encrypt και το ανανεώνει. Οι παρακάτω εντολές είναι για το Ubuntu 24.04 που τρέχουν οι app servers μας.
Στο panel, άνοιξε τις θύρες TCP 80 και 443 στο firewall του server: το Caddy τις χρειάζεται για να πάρει το πιστοποιητικό Let's Encrypt και να εξυπηρετεί την ιστοσελίδα.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyΌταν το domain λειτουργεί, η σκέτη θύρα 3000 δεν χρειάζεται πια: στο /opt/ollama/compose.yml άλλαξε το "3000:…" σε "127.0.0.1:3000:…", τρέξε docker compose up -d και αφαίρεσε τη θύρα 3000 από το firewall. Από εκεί και πέρα το Open WebUI είναι προσβάσιμο μόνο μέσω HTTPS.
Ενημέρωση του Ollama
Τα images στο /opt/ollama/compose.yml είναι κλειδωμένα σε συγκεκριμένες εκδόσεις, οπότε ένα απλό docker compose pull κατεβάζει ξανά την ίδια έκδοση. Για ενημέρωση, άλλαξε την έκδοση στη γραμμή image: σε αυτήν που θέλεις (διάβασε πρώτα τις σημειώσεις έκδοσης), μετά κάνε pull και δημιούργησε ξανά τα containers. Τα δεδομένα βρίσκονται σε Docker volumes και διατηρούνται.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup του Ollama
Στο panel μπορείς να ενεργοποιήσεις καθημερινά backup ολόκληρου του server (+20% στην τιμή του πακέτου, κρατιούνται τα 7 τελευταία αντίγραφα) και να κάνεις ανάκτηση του server από οποιοδήποτε από αυτά. Αξίζει πάντως να έχεις και ένα αντίγραφο των δεδομένων της ίδιας της εφαρμογής σε αρχείο: μπορείς να το μεταφέρεις σε άλλον server ή να το ανακτήσεις χωρίς να γυρίσεις πίσω όλα τα υπόλοιπα.
Οι συνομιλίες, οι χρήστες και οι ρυθμίσεις του Open WebUI βρίσκονται στο volume ollama_open_webui· τα μοντέλα που κατέβηκαν είναι στο ollama_ollama και μπορούν απλώς να κατέβουν ξανά, γι' αυτό συνήθως μένουν έξω από τα backup αρχείων:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startΠώς λειτουργεί
- Διάλεξε το Ollama στη σελίδα παραγγελίας server και επίλεξε πακέτο με αρκετή μνήμη.
- Η εφαρμογή εγκαθίσταται στον server στην πρώτη εκκίνηση, συνήθως μέσα σε λίγα λεπτά.
- Άνοιξε τον server στο panel σου: εκεί βρίσκονται η διεύθυνση και τα στοιχεία σύνδεσης.