Ollama: modele AI deschise pe propriul server
Modele de limbaj care rulează pe procesorul și memoria serverului, cu un chat web prin care vorbești cu ele, așa că prompturile nu sunt trimise la un API extern.
Despre Ollama
Ollama este un instrument open-source pentru descărcarea și rularea modelelor de limbaj cu ponderi deschise, printr-o singură comandă. Biblioteca lui include familii de modele precum Llama, Gemma, Mistral, Qwen și DeepSeek, în mai multe dimensiuni, și expune un API HTTP simplu pe care îl pot apela alte programe.
Dezvoltatorii îl folosesc ca să facă prototipuri de funcții fără costuri pe token, iar companiile îl folosesc când textul nu are voie să iasă din propria infrastructură, de exemplu documente interne sau date ale clienților.
Dacă îl rulezi pe un server, nu pe un laptop, modelele sunt la dispoziția întregii echipe și a aplicațiilor tale la orice oră. Compromisul este hardware-ul: dimensiunea modelului e limitată de memoria serverului, iar viteza de generare depinde de procesor. Modelele sunt stocate ca fișiere pe disc, așa că și mărimea discului limitează câte poți păstra.
La ce o folosesc oamenii
Un chat care nu trimite date în afară
Pune întrebări despre texte sensibile în chatul din browser, știind că promptul este procesat pe serverul tău.
Un model în spatele propriei aplicații
Apelează modelul din backend pentru rezumate, clasificare sau extragere de date, fără factură API pentru fiecare cerere.
Încercarea mai multor modele deschise
Descarcă mai multe modele și compară cum se descurcă cu sarcinile tale reale înainte să alegi unul.
După comandă
Ollama se instalează pe server la prima pornire, împreună cu un chat web la http://adresa-serverului:3000/; portul 3000 este deschis în firewall. Autentifică-te cu e-mailul și parola afișate în panoul Rivervo. Modelele se descarcă pe server: panoul arată comanda pentru asta (de exemplu ollama pull llama3.2), iar modelul apare apoi în chat.
Alegerea unui model pentru server
Cât de mare poate fi modelul pe care îl rulează serverul depinde de memorie. Documentația Ollama dă o orientare aproximativă: cel puțin 8 GB de RAM pentru modelele 7B, 16 GB pentru modelele 13B și 32 GB pentru modelele 33B. Fără GPU, modelul rulează pe procesor, așa că mai multe nuclee înseamnă răspunsuri mai rapide. Descarcă un model din shell, iar apoi el apare în Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listPropriul domeniu și HTTPS pentru Open WebUI
Din start, Open WebUI răspunde pe adresa IP a serverului, prin HTTP simplu. Ca să-i dai un nume ca ai.example.com, cu certificat, creează în DNS o înregistrare A pentru acel nume care să indice adresa IPv4 a serverului, apoi pune Caddy în fața lui: Caddy obține singur un certificat Let's Encrypt gratuit și îl reînnoiește. Comenzile de mai jos sunt pentru Ubuntu 24.04, sistemul pe care rulează serverele noastre de aplicații.
În panou, deschide porturile TCP 80 și 443 în firewallul serverului: Caddy are nevoie de ele ca să obțină certificatul Let's Encrypt și să servească site-ul.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyCând domeniul funcționează, nimeni nu mai are nevoie de portul 3000 direct: în /opt/ollama/compose.yml schimbă "3000:…" în "127.0.0.1:3000:…", rulează docker compose up -d și scoate portul 3000 din firewall. Apoi Open WebUI este accesibil doar prin HTTPS.
Actualizarea Ollama
Imaginile din /opt/ollama/compose.yml sunt fixate pe versiuni exacte, așa că un simplu docker compose pull aduce din nou aceeași versiune. Ca să actualizezi, schimbă versiunea din linia image: cu cea dorită (citește mai întâi notele de lansare), apoi descarcă imaginile și recreează containerele. Datele stau în volume Docker și se păstrează.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackupul pentru Ollama
În panou poți activa backupuri zilnice ale întregului server (+20% din prețul planului, se păstrează ultimele 7 copii) și poți restaura serverul din oricare dintre ele. Merită totuși să ai și o copie a datelor aplicației într-un fișier: o poți muta pe alt server sau o poți restaura fără să dai înapoi tot restul.
Conversațiile, utilizatorii și setările Open WebUI se află în volumul ollama_open_webui; modelele descărcate sunt în ollama_ollama și pot fi pur și simplu descărcate din nou, așa că de obicei nu se pun în backupurile de fișiere:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCum funcționează
- Alege Ollama pe pagina de comandă a serverului și un plan cu suficientă memorie.
- Aplicația se instalează pe server la prima pornire, de obicei în câteva minute.
- Deschide serverul în panou: acolo găsești adresa și datele de autentificare.