Ollama: ღია AI მოდელები თქვენს სერვერზე
ენობრივი მოდელები, რომლებიც სერვერის საკუთარ პროცესორსა და მეხსიერებაზე მუშაობს, მათთან სასაუბრო ვებ-ჩატით — პრომპტები გარე API-ს არ ეგზავნება.
რა არის Ollama
Ollama არის ღია კოდის ინსტრუმენტი ღია წონების მქონე ენობრივი მოდელების ერთი ბრძანებით ჩამოსატვირთად და გასაშვებად. მის ბიბლიოთეკაში არის მოდელების ოჯახები, როგორიცაა Llama, Gemma, Mistral, Qwen და DeepSeek, სხვადასხვა ზომით, და ის მარტივ HTTP API-ს გვთავაზობს, რომლის გამოძახებაც სხვა პროგრამებს შეუძლიათ.
დეველოპერები მას ფუნქციების პროტოტიპირებისთვის იყენებენ ტოკენების საფასურის გარეშე, კომპანიები კი — როცა ტექსტი საკუთარ ინფრასტრუქტურას არ უნდა გასცდეს, მაგალითად, შიდა დოკუმენტები ან კლიენტების მონაცემები.
ლეპტოპის ნაცვლად სერვერზე გაშვებისას მოდელები მთელი გუნდისთვის და თქვენი აპლიკაციებისთვის ნებისმიერ დროს ხელმისაწვდომია. ამის ფასი აპარატურაა: მოდელის ზომას სერვერის მეხსიერება ზღუდავს, გენერაციის სიჩქარე კი მის პროცესორზეა დამოკიდებული. მოდელები დისკზე ფაილებად ინახება, ამიტომ დისკის ზომაც ზღუდავს, რამდენის შენახვა შეგიძლიათ.
რისთვის იყენებენ
ჩატი, რომელიც მონაცემებს გარეთ არასოდეს აგზავნის
დასვით კითხვები კონფიდენციალურ ტექსტზე ბრაუზერის ჩატში და იცოდეთ, რომ პრომპტი თქვენს სერვერზე მუშავდება.
მოდელი თქვენი აპლიკაციის უკან
გამოიძახეთ მოდელი თქვენი ბექენდიდან შეჯამებისთვის, კლასიფიკაციისთვის ან მონაცემების ამოღებისთვის, ყოველ მოთხოვნაზე API-ს ანგარიშის გარეშე.
სხვადასხვა ღია მოდელის გამოცდა
ჩამოტვირთეთ რამდენიმე მოდელი და შეადარეთ, როგორ უმკლავდებიან ისინი თქვენს რეალურ ამოცანებს, სანამ ერთს აირჩევთ.
შეკვეთის შემდეგ
Ollama სერვერის პირველი გაშვებისას დაყენდება ვებ-ჩატთან ერთად, რომელიც მისამართზეა http://tqveni-serveris-misamarti:3000/; ფაიერვოლში 3000 პორტი გაიხსნება. შედით ელფოსტითა და პაროლით, რომლებიც Rivervo-ს პანელში ჩანს. მოდელები სერვერზე ჩამოიტვირთება: პანელი ამის ბრძანებას აჩვენებს (მაგალითად, ollama pull llama3.2), რის შემდეგაც მოდელი ჩატში გამოჩნდება.
მოდელის არჩევა თქვენი სერვერისთვის
რა ზომის მოდელს გაუშვებს სერვერი, მეხსიერებაზეა დამოკიდებული. Ollama-ს დოკუმენტაცია მიახლოებით ორიენტირს იძლევა: მინიმუმ 8 GB RAM 7B მოდელებისთვის, 16 GB 13B მოდელებისთვის და 32 GB 33B მოდელებისთვის. GPU-ს გარეშე მოდელი პროცესორზე მუშაობს, ამიტომ მეტი ბირთვი უფრო სწრაფ პასუხებს ნიშნავს. ჩამოტვირთეთ მოდელი ტერმინალიდან და ის Open WebUI-ში გამოჩნდება:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listსაკუთარი დომენი და HTTPS Open WebUI-სთვის
Open WebUI თავდაპირველად სერვერის IP მისამართზე ჩვეულებრივი HTTP-ით პასუხობს. სერტიფიკატიანი სახელის მისაცემად, მაგალითად, ai.example.com, თქვენს DNS-ში შექმენით ამ სახელის A ჩანაწერი, რომელიც სერვერის IPv4 მისამართზე მიუთითებს, შემდეგ კი მის წინ Caddy დააყენეთ: Caddy უფასო Let's Encrypt სერტიფიკატს თავად იღებს და აახლებს. ქვემოთ მოცემული ბრძანებები Ubuntu 24.04-ისთვისაა, რომელზეც ჩვენი აპლიკაციების სერვერები მუშაობს.
პანელში სერვერის ფაიერვოლში გახსენით TCP პორტები 80 და 443: Caddy-ს ისინი Let's Encrypt სერტიფიკატის მისაღებად და საიტის მოსამსახურებლად სჭირდება.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyროცა დომენი იმუშავებს, პირდაპირი 3000 პორტი აღარავის სჭირდება: /opt/ollama/compose.yml ფაილში შეცვალეთ "3000:…" "127.0.0.1:3000:…"-ით, გაუშვით docker compose up -d და ფაიერვოლიდან 3000 პორტი წაშალეთ. ამის შემდეგ Open WebUI მხოლოდ HTTPS-ით იქნება ხელმისაწვდომი.
Ollama-ს განახლება
/opt/ollama/compose.yml ფაილში იმიჯები ზუსტ ვერსიებზეა მიმაგრებული, ამიტომ უბრალოდ docker compose pull იმავე ვერსიას ხელახლა ჩამოტვირთავს. განახლებისთვის image: სტრიქონში ვერსია სასურველით შეცვალეთ (ჯერ რელიზის შენიშვნები წაიკითხეთ), შემდეგ ჩამოტვირთეთ იმიჯები და კონტეინერები ხელახლა შექმენით. მონაცემები Docker-ის ვოლიუმებში ინახება და შენარჩუნდება.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllama-ს დარეზერვება
პანელში შეგიძლიათ ჩართოთ მთელი სერვერის ყოველდღიური სარეზერვო ასლები (პაკეტის ფასის +20%, ინახება ბოლო 7 ასლი) და სერვერი ნებისმიერი მათგანიდან აღადგინოთ. აპლიკაციის საკუთარი მონაცემების ასლი ფაილში მაინც სასარგებლოა: მისი სხვა სერვერზე გადატანა ან აღდგენა შეიძლება ისე, რომ დანარჩენი ყველაფერი უკან არ დააბრუნოთ.
Open WebUI-ს ჩატები, მომხმარებლები და პარამეტრები ollama_open_webui ვოლიუმშია; ჩამოტვირთული მოდელები ollama_ollama-შია და მათი ხელახლა ჩამოტვირთვა მარტივად შეიძლება, ამიტომ ფაილურ სარეზერვო ასლებში მათ ჩვეულებრივ არ რთავენ:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startროგორ მუშაობს
- სერვერის შეკვეთის გვერდზე აირჩიეთ Ollama და პაკეტი საკმარისი მეხსიერებით.
- აპლიკაცია სერვერზე პირველივე გაშვებისას დაყენდება, ჩვეულებრივ რამდენიმე წუთში.
- გახსენით სერვერი პანელში: იქ ნახავთ მისამართს და შესვლის მონაცემებს.