Ollama: oʻz serveringizda ochiq AI modellari
Serverning oʻz protsessori va xotirasida ishlaydigan til modellari va ular bilan gaplashish uchun veb-chat — soʻrovlar tashqi API ga yuborilmaydi.
Ollama haqida
Ollama — ochiq vaznli til modellarini bitta buyruq bilan yuklab olish va ishga tushirish uchun ochiq kodli vosita. Uning kutubxonasida Llama, Gemma, Mistral, Qwen va DeepSeek kabi model oilalari turli oʻlchamlarda bor, u boshqa dasturlar chaqira oladigan oddiy HTTP API ham taqdim etadi.
Dasturchilar undan har bir token uchun toʻlovsiz yangi imkoniyatlarning prototipini yaratishda foydalanadi, kompaniyalar esa matn — masalan, ichki hujjatlar yoki mijozlar maʼlumotlari — oʻz infratuzilmasidan chiqmasligi kerak boʻlganda ishlatadi.
Uni noutbukda emas, serverda ishlatsangiz, modellar butun jamoa va ilovalaringiz uchun istalgan vaqtda mavjud boʻladi. Buning evaziga uskunaga bogʻliqlik bor: model hajmi server xotirasi bilan cheklanadi, generatsiya tezligi esa protsessorga bogʻliq. Modellar diskda fayl sifatida saqlanadi, shuning uchun nechta modelni saqlash mumkinligini disk hajmi ham cheklaydi.
Undan nima uchun foydalanishadi
Maʼlumotni tashqariga chiqarmaydigan chat
Maxfiy matnlar haqida brauzer chatida savol bering — soʻrovingiz serveringizda qayta ishlanadi.
Oʻz ilovangiz ortidagi model
Xulosa, tasniflash yoki maʼlumot ajratib olish uchun modelni backendingizdan chaqiring — har bir soʻrov uchun API hisobi kelmaydi.
Turli ochiq modellarni sinash
Bir nechta modelni yuklab oling va tanlashdan oldin ular haqiqiy vazifalaringizni qanday bajarishini solishtiring.
Buyurtmadan keyin
Ollama server birinchi marta ishga tushganda http://server-manzilingiz:3000/ manzilidagi veb-chat bilan birga oʻrnatiladi, xavfsizlik devorida 3000-port ochiladi. Rivervo panelida koʻrsatilgan elektron pochta va parol bilan kiring. Modellar serverda yuklab olinadi: panelda buning uchun buyruq koʻrsatiladi (masalan, ollama pull llama3.2), shundan soʻng model chatda paydo boʻladi.
Serveringiz uchun model tanlash
Server qanchalik katta modelni ishga tushira olishi xotiraga bogʻliq. Ollama hujjatlarida taxminiy mezon berilgan: 7B modellar uchun kamida 8 GB RAM, 13B modellar uchun 16 GB va 33B modellar uchun 32 GB. GPU boʻlmasa, model protsessorda ishlaydi, shuning uchun yadrolar qancha koʻp boʻlsa, javoblar shuncha tez. Modelni buyruqlar qatoridan yuklab oling, soʻng u Open WebUI da paydo boʻladi:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listOpen WebUI uchun oʻz domeningiz va HTTPS
Dastlab Open WebUI serverning IP manzilida oddiy HTTP orqali javob beradi. Unga ai.example.com kabi nom va sertifikat berish uchun DNS sozlamalarida shu nom uchun serverning IPv4 manziliga yoʻnaltirilgan A yozuvini yarating, soʻng uning oldiga Caddy qoʻying: Caddy bepul Let's Encrypt sertifikatini oʻzi oladi va oʻzi yangilaydi. Quyidagi buyruqlar ilova serverlarimizda ishlaydigan Ubuntu 24.04 uchun.
Panelda serverning xavfsizlik devorida 80 va 443 TCP portlarini oching: Caddy ularni Let's Encrypt sertifikatini olish va saytni ochib berish uchun ishlatadi.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyDomen ishlay boshlagach, 3000-portga toʻgʻridan-toʻgʻri kirish endi kerak emas: /opt/ollama/compose.yml faylida "3000:…" qiymatini "127.0.0.1:3000:…" ga oʻzgartiring, docker compose up -d buyrugʻini bajaring va 3000-portni xavfsizlik devoridan olib tashlang. Shundan soʻng Open WebUI faqat HTTPS orqali ochiladi.
Ollama ni yangilash
/opt/ollama/compose.yml faylidagi imagelar aniq versiyalarga bogʻlangan, shuning uchun oddiy docker compose pull oʻsha versiyani qayta yuklaydi. Yangilash uchun image: qatoridagi versiyani kerakli versiyaga oʻzgartiring (avval reliz qaydlarini oʻqing), soʻng imagelarni yuklab, konteynerlarni qayta yarating. Maʼlumotlar Docker volumelarida saqlanadi va yoʻqolmaydi.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllama zaxira nusxasi
Panelda butun serverning kunlik zaxira nusxalarini yoqishingiz mumkin (tarif narxining +20%, oxirgi 7 ta nusxa saqlanadi) va serverni ulardan istalganidan tiklashingiz mumkin. Shunga qaramay, ilova maʼlumotlarining fayldagi alohida nusxasi ham foydali: uni boshqa serverga koʻchirish yoki qolgan hamma narsani orqaga qaytarmasdan tiklash mumkin.
Open WebUI chatlari, foydalanuvchilari va sozlamalari ollama_open_webui volumeida; yuklab olingan modellar ollama_ollama ichida va ularni shunchaki qayta yuklab olish mumkin, shuning uchun odatda ular fayl zaxira nusxalariga kiritilmaydi:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startQanday ishlaydi
- Server buyurtma sahifasida Ollama ni tanlang va xotirasi yetarli tarifni belgilang.
- Ilova serverga birinchi ishga tushishda, odatda bir necha daqiqa ichida oʻrnatiladi.
- Panelingizda serverni oching: manzil va kirish maʼlumotlari oʻsha yerda.