Boshlash
Barcha VPS ilovalari
AI va agentlar

Ollama: oʻz serveringizda ochiq AI modellari

Serverning oʻz protsessori va xotirasida ishlaydigan til modellari va ular bilan gaplashish uchun veb-chat — soʻrovlar tashqi API ga yuborilmaydi.

Ollama bilan server buyurtma qilish VPS tariflarini koʻrish

Ollama haqida

Ollama — ochiq vaznli til modellarini bitta buyruq bilan yuklab olish va ishga tushirish uchun ochiq kodli vosita. Uning kutubxonasida Llama, Gemma, Mistral, Qwen va DeepSeek kabi model oilalari turli oʻlchamlarda bor, u boshqa dasturlar chaqira oladigan oddiy HTTP API ham taqdim etadi.

Dasturchilar undan har bir token uchun toʻlovsiz yangi imkoniyatlarning prototipini yaratishda foydalanadi, kompaniyalar esa matn — masalan, ichki hujjatlar yoki mijozlar maʼlumotlari — oʻz infratuzilmasidan chiqmasligi kerak boʻlganda ishlatadi.

Uni noutbukda emas, serverda ishlatsangiz, modellar butun jamoa va ilovalaringiz uchun istalgan vaqtda mavjud boʻladi. Buning evaziga uskunaga bogʻliqlik bor: model hajmi server xotirasi bilan cheklanadi, generatsiya tezligi esa protsessorga bogʻliq. Modellar diskda fayl sifatida saqlanadi, shuning uchun nechta modelni saqlash mumkinligini disk hajmi ham cheklaydi.

Undan nima uchun foydalanishadi

Maʼlumotni tashqariga chiqarmaydigan chat

Maxfiy matnlar haqida brauzer chatida savol bering — soʻrovingiz serveringizda qayta ishlanadi.

Oʻz ilovangiz ortidagi model

Xulosa, tasniflash yoki maʼlumot ajratib olish uchun modelni backendingizdan chaqiring — har bir soʻrov uchun API hisobi kelmaydi.

Turli ochiq modellarni sinash

Bir nechta modelni yuklab oling va tanlashdan oldin ular haqiqiy vazifalaringizni qanday bajarishini solishtiring.

Buyurtmadan keyin

Ollama server birinchi marta ishga tushganda http://server-manzilingiz:3000/ manzilidagi veb-chat bilan birga oʻrnatiladi, xavfsizlik devorida 3000-port ochiladi. Rivervo panelida koʻrsatilgan elektron pochta va parol bilan kiring. Modellar serverda yuklab olinadi: panelda buning uchun buyruq koʻrsatiladi (masalan, ollama pull llama3.2), shundan soʻng model chatda paydo boʻladi.

Serveringiz uchun model tanlash

Server qanchalik katta modelni ishga tushira olishi xotiraga bogʻliq. Ollama hujjatlarida taxminiy mezon berilgan: 7B modellar uchun kamida 8 GB RAM, 13B modellar uchun 16 GB va 33B modellar uchun 32 GB. GPU boʻlmasa, model protsessorda ishlaydi, shuning uchun yadrolar qancha koʻp boʻlsa, javoblar shuncha tez. Modelni buyruqlar qatoridan yuklab oling, soʻng u Open WebUI da paydo boʻladi:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Open WebUI uchun oʻz domeningiz va HTTPS

Dastlab Open WebUI serverning IP manzilida oddiy HTTP orqali javob beradi. Unga ai.example.com kabi nom va sertifikat berish uchun DNS sozlamalarida shu nom uchun serverning IPv4 manziliga yoʻnaltirilgan A yozuvini yarating, soʻng uning oldiga Caddy qoʻying: Caddy bepul Let's Encrypt sertifikatini oʻzi oladi va oʻzi yangilaydi. Quyidagi buyruqlar ilova serverlarimizda ishlaydigan Ubuntu 24.04 uchun.

Panelda serverning xavfsizlik devorida 80 va 443 TCP portlarini oching: Caddy ularni Let's Encrypt sertifikatini olish va saytni ochib berish uchun ishlatadi.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Domen ishlay boshlagach, 3000-portga toʻgʻridan-toʻgʻri kirish endi kerak emas: /opt/ollama/compose.yml faylida "3000:…" qiymatini "127.0.0.1:3000:…" ga oʻzgartiring, docker compose up -d buyrugʻini bajaring va 3000-portni xavfsizlik devoridan olib tashlang. Shundan soʻng Open WebUI faqat HTTPS orqali ochiladi.

Ollama ni yangilash

/opt/ollama/compose.yml faylidagi imagelar aniq versiyalarga bogʻlangan, shuning uchun oddiy docker compose pull oʻsha versiyani qayta yuklaydi. Yangilash uchun image: qatoridagi versiyani kerakli versiyaga oʻzgartiring (avval reliz qaydlarini oʻqing), soʻng imagelarni yuklab, konteynerlarni qayta yarating. Maʼlumotlar Docker volumelarida saqlanadi va yoʻqolmaydi.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollama zaxira nusxasi

Panelda butun serverning kunlik zaxira nusxalarini yoqishingiz mumkin (tarif narxining +20%, oxirgi 7 ta nusxa saqlanadi) va serverni ulardan istalganidan tiklashingiz mumkin. Shunga qaramay, ilova maʼlumotlarining fayldagi alohida nusxasi ham foydali: uni boshqa serverga koʻchirish yoki qolgan hamma narsani orqaga qaytarmasdan tiklash mumkin.

Open WebUI chatlari, foydalanuvchilari va sozlamalari ollama_open_webui volumeida; yuklab olingan modellar ollama_ollama ichida va ularni shunchaki qayta yuklab olish mumkin, shuning uchun odatda ular fayl zaxira nusxalariga kiritilmaydi:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Qanday ishlaydi

  1. Server buyurtma sahifasida Ollama ni tanlang va xotirasi yetarli tarifni belgilang.
  2. Ilova serverga birinchi ishga tushishda, odatda bir necha daqiqa ichida oʻrnatiladi.
  3. Panelingizda serverni oching: manzil va kirish maʼlumotlari oʻsha yerda.

Ollama haqida savollar

Eng kichik tarif — 8 GB xotira va 80 GB disk, bu bir necha milliard parametrli kichik modellarga bemalol yetadi. Modelga taxminan fayl hajmicha boʻsh xotira kerak, shuning uchun katta modellar uchun xotirasi va diski kattaroq tarif kerak.
Tezlik model hajmi va server protsessori yadrolariga bogʻliq. Kichik modellar ishlash uchun qulay tezlikda javob beradi, kattalari sezilarli darajada sekinroq, shuning uchun kichigidan boshlang va faqat sifat talab qilsa kattarogʻiga oʻting.
Ha, u x86 va ARM tariflarining ikkalasida ham mavjud, bu esa ARM ni koʻp xotira talab qiladigan modellar bilan ishlash uchun oqilona tanlovga aylantiradi.
Ollama API (11434-port) serverda tashqariga ochilmagan, unga faqat Docker ichidagi Open WebUI murojaat qila oladi. Uni oʻz kodingizdan chaqirish uchun kodni shu serverda, oʻsha Docker tarmogʻida ishga tushiring yoki portni `"127.0.0.1:11434:11434"` koʻrinishida eʼlon qilib, SSH tunnel orqali ulaning. Uni internetga ochmang: unda parol yoʻq.
Roʻyxatdan oʻtish oʻchirilgan (`ENABLE_SIGNUP: "false"`), shuning uchun begonalar roʻyxatdan oʻta olmaydi. Foydalanuvchilarni Open WebUI administrator panelida oʻzingiz qoʻshing.

AI va agentlar boʻlimidagi boshqa ilovalar