शुरू करें
सभी VPS ऐप
AI और एजेंट

Ollama: आपके अपने सर्वर पर ओपन AI मॉडल

लैंग्वेज मॉडल जो सर्वर के अपने प्रोसेसर और मेमोरी पर चलते हैं, उनसे बात करने के लिए वेब चैट के साथ — प्रॉम्प्ट किसी बाहरी API को नहीं भेजे जाते।

Ollama के साथ सर्वर ऑर्डर करें VPS प्लान देखें

Ollama के बारे में

Ollama एक ओपन-सोर्स टूल है, जिससे open-weight लैंग्वेज मॉडल एक ही कमांड से डाउनलोड करके चलाए जा सकते हैं। इसकी लाइब्रेरी में Llama, Gemma, Mistral, Qwen और DeepSeek जैसे मॉडल परिवार कई साइज़ में हैं, और यह एक आसान HTTP API देता है जिसे दूसरे प्रोग्राम कॉल कर सकते हैं।

डेवलपर इससे बिना प्रति-टोकन खर्च के फ़ीचर का प्रोटोटाइप बनाते हैं, और कंपनियाँ इसे तब चुनती हैं जब टेक्स्ट उनके अपने इंफ़्रास्ट्रक्चर से बाहर नहीं जाना चाहिए, जैसे आंतरिक दस्तावेज़ या ग्राहकों का डेटा।

लैपटॉप की जगह सर्वर पर चलाने से मॉडल पूरी टीम और आपके ऐप्लिकेशन के लिए किसी भी समय उपलब्ध रहते हैं। बदले में हार्डवेयर की सीमा है: मॉडल का साइज़ सर्वर की मेमोरी से सीमित होता है और जवाब की स्पीड प्रोसेसर पर निर्भर करती है। मॉडल डिस्क पर फ़ाइलों के रूप में रहते हैं, इसलिए डिस्क का साइज़ भी तय करता है कि आप कितने मॉडल रख सकते हैं।

लोग इसे किसलिए इस्तेमाल करते हैं

ऐसी चैट जो डेटा बाहर नहीं भेजती

संवेदनशील टेक्स्ट के बारे में ब्राउज़र चैट में सवाल पूछें — प्रॉम्प्ट आपके ही सर्वर पर प्रोसेस होता है।

आपके अपने ऐप के पीछे मॉडल

सारांश, वर्गीकरण या जानकारी निकालने के लिए अपने बैकएंड से मॉडल को कॉल करें — हर रिक्वेस्ट पर कोई API बिल नहीं।

अलग-अलग ओपन मॉडल आज़माना

कई मॉडल डाउनलोड करें और एक चुनने से पहले देखें कि वे आपके असली कामों को कैसे संभालते हैं।

ऑर्डर के बाद

Ollama सर्वर के पहले स्टार्ट पर वेब चैट के साथ इंस्टॉल हो जाता है, जो http://aapke-server-ka-pata:3000/ पर खुलती है; फ़ायरवॉल में पोर्ट 3000 खुला है। Rivervo पैनल में दिखाए गए ईमेल और पासवर्ड से लॉग इन करें। मॉडल सर्वर पर डाउनलोड किए जाते हैं: पैनल इसके लिए कमांड दिखाता है (उदाहरण के लिए ollama pull llama3.2), और फिर मॉडल चैट में दिखने लगता है।

अपने सर्वर के लिए मॉडल चुनना

सर्वर कितना बड़ा मॉडल चला सकता है, यह मेमोरी पर निर्भर है। Ollama का डॉक्यूमेंटेशन एक मोटा अंदाज़ा देता है: 7B मॉडल के लिए कम से कम 8 GB RAM, 13B के लिए 16 GB और 33B के लिए 32 GB। GPU के बिना मॉडल प्रोसेसर पर चलता है, इसलिए ज़्यादा कोर का मतलब तेज़ जवाब। शेल से मॉडल डाउनलोड करें, फिर वह Open WebUI में दिखने लगेगा:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Open WebUI के लिए अपना डोमेन और HTTPS

शुरुआत में Open WebUI सर्वर के IP पते पर सादे HTTP से खुलता है। इसे ai.aapkicompany.in जैसा नाम और सर्टिफ़िकेट देने के लिए अपने DNS में उस नाम का A रिकॉर्ड बनाएँ जो सर्वर के IPv4 पते की ओर इशारा करे, फिर उसके आगे Caddy लगाएँ: Caddy खुद मुफ़्त Let's Encrypt सर्टिफ़िकेट लेता है और उसे रिन्यू करता है। नीचे दी गई कमांड Ubuntu 24.04 के लिए हैं, जिस पर हमारे ऐप सर्वर चलते हैं।

पैनल में सर्वर के फ़ायरवॉल में TCP पोर्ट 80 और 443 खोलें: Caddy को Let's Encrypt सर्टिफ़िकेट लेने और साइट दिखाने के लिए इनकी ज़रूरत है।

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

डोमेन चलने के बाद सीधे पोर्ट 3000 की ज़रूरत नहीं रहती: /opt/ollama/compose.yml में "3000:…" को "127.0.0.1:3000:…" से बदलें, docker compose up -d चलाएँ और फ़ायरवॉल से पोर्ट 3000 हटा दें। इसके बाद Open WebUI सिर्फ़ HTTPS से खुलेगा।

Ollama को अपडेट करना

/opt/ollama/compose.yml में इमेज सटीक वर्शन पर तय हैं, इसलिए सिर्फ़ docker compose pull वही वर्शन फिर से ले आएगा। अपडेट के लिए image: लाइन में मनचाहा वर्शन लिखें (पहले release notes पढ़ लें), फिर pull करें और कंटेनर दोबारा बनाएँ। डेटा Docker volumes में रहता है और सुरक्षित रहता है।

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollama का बैकअप

पैनल में आप पूरे सर्वर का रोज़ाना बैकअप चालू कर सकते हैं (प्लान की कीमत का +20%, आख़िरी 7 कॉपी रखी जाती हैं) और इनमें से किसी से भी सर्वर रीस्टोर कर सकते हैं। फिर भी ऐप के अपने डेटा की एक फ़ाइल में कॉपी रखना अच्छा है: उसे दूसरे सर्वर पर ले जाया जा सकता है या बाकी सब कुछ पीछे किए बिना रीस्टोर किया जा सकता है।

Open WebUI की चैट, यूज़र और सेटिंग्स ollama_open_webui volume में हैं; डाउनलोड किए गए मॉडल ollama_ollama में हैं और उन्हें दोबारा आसानी से डाउनलोड किया जा सकता है, इसलिए आम तौर पर उन्हें फ़ाइल बैकअप में शामिल नहीं किया जाता:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

यह कैसे काम करता है

  1. सर्वर ऑर्डर पेज पर Ollama चुनें और पर्याप्त मेमोरी वाला प्लान लें।
  2. सर्वर पहली बार चालू होते ही ऐप इंस्टॉल हो जाता है, आम तौर पर कुछ ही मिनटों में।
  3. अपने पैनल में सर्वर खोलें: पता और लॉग इन की जानकारी वहीं है।

Ollama से जुड़े सवाल

कम से कम 8 GB मेमोरी और 80 GB डिस्क चाहिए, जिसमें कुछ अरब पैरामीटर वाले छोटे मॉडल आराम से चलते हैं। मॉडल को लगभग उतनी ही खाली मेमोरी चाहिए जितनी उसकी फ़ाइल का साइज़ है, इसलिए बड़े मॉडल के लिए ज़्यादा मेमोरी और डिस्क वाला प्लान चाहिए।
स्पीड मॉडल के साइज़ और सर्वर के प्रोसेसर कोर पर निर्भर करती है। छोटे मॉडल काम चलाने लायक स्पीड से जवाब देते हैं; बड़े मॉडल साफ़ तौर पर धीमे होते हैं, इसलिए छोटे से शुरू करें और बड़ा मॉडल तभी लें जब क्वालिटी के लिए ज़रूरी हो।
हाँ, यह x86 और ARM दोनों प्लान पर उपलब्ध है, इसलिए ज़्यादा मेमोरी वाले मॉडल के काम के लिए ARM एक अच्छा विकल्प है।
Ollama का API (पोर्ट 11434) सर्वर पर पब्लिश नहीं है, यह सिर्फ़ Docker के अंदर Open WebUI से पहुँचा जा सकता है। अपने कोड से कॉल करने के लिए उस कोड को उसी सर्वर पर उसी Docker नेटवर्क में चलाएँ, या पोर्ट को `"127.0.0.1:11434:11434"` के रूप में पब्लिश करके SSH टनल इस्तेमाल करें। इसे इंटरनेट के लिए न खोलें: इस पर कोई पासवर्ड नहीं है।
साइन अप बंद है (`ENABLE_SIGNUP: "false"`), इसलिए अनजान लोग रजिस्टर नहीं कर सकते। यूज़र्स को आप खुद Open WebUI के एडमिन पैनल में जोड़ें।

AI और एजेंट में दूसरे ऐप