დაწყება
ყველა VPS აპლიკაცია
AI და აგენტები

Ollama: ღია AI მოდელები თქვენს სერვერზე

ენობრივი მოდელები, რომლებიც სერვერის საკუთარ პროცესორსა და მეხსიერებაზე მუშაობს, მათთან სასაუბრო ვებ-ჩატით — პრომპტები გარე API-ს არ ეგზავნება.

შეუკვეთეთ სერვერი Ollama აპლიკაციით VPS პაკეტების ნახვა

რა არის Ollama

Ollama არის ღია კოდის ინსტრუმენტი ღია წონების მქონე ენობრივი მოდელების ერთი ბრძანებით ჩამოსატვირთად და გასაშვებად. მის ბიბლიოთეკაში არის მოდელების ოჯახები, როგორიცაა Llama, Gemma, Mistral, Qwen და DeepSeek, სხვადასხვა ზომით, და ის მარტივ HTTP API-ს გვთავაზობს, რომლის გამოძახებაც სხვა პროგრამებს შეუძლიათ.

დეველოპერები მას ფუნქციების პროტოტიპირებისთვის იყენებენ ტოკენების საფასურის გარეშე, კომპანიები კი — როცა ტექსტი საკუთარ ინფრასტრუქტურას არ უნდა გასცდეს, მაგალითად, შიდა დოკუმენტები ან კლიენტების მონაცემები.

ლეპტოპის ნაცვლად სერვერზე გაშვებისას მოდელები მთელი გუნდისთვის და თქვენი აპლიკაციებისთვის ნებისმიერ დროს ხელმისაწვდომია. ამის ფასი აპარატურაა: მოდელის ზომას სერვერის მეხსიერება ზღუდავს, გენერაციის სიჩქარე კი მის პროცესორზეა დამოკიდებული. მოდელები დისკზე ფაილებად ინახება, ამიტომ დისკის ზომაც ზღუდავს, რამდენის შენახვა შეგიძლიათ.

რისთვის იყენებენ

ჩატი, რომელიც მონაცემებს გარეთ არასოდეს აგზავნის

დასვით კითხვები კონფიდენციალურ ტექსტზე ბრაუზერის ჩატში და იცოდეთ, რომ პრომპტი თქვენს სერვერზე მუშავდება.

მოდელი თქვენი აპლიკაციის უკან

გამოიძახეთ მოდელი თქვენი ბექენდიდან შეჯამებისთვის, კლასიფიკაციისთვის ან მონაცემების ამოღებისთვის, ყოველ მოთხოვნაზე API-ს ანგარიშის გარეშე.

სხვადასხვა ღია მოდელის გამოცდა

ჩამოტვირთეთ რამდენიმე მოდელი და შეადარეთ, როგორ უმკლავდებიან ისინი თქვენს რეალურ ამოცანებს, სანამ ერთს აირჩევთ.

შეკვეთის შემდეგ

Ollama სერვერის პირველი გაშვებისას დაყენდება ვებ-ჩატთან ერთად, რომელიც მისამართზეა http://tqveni-serveris-misamarti:3000/; ფაიერვოლში 3000 პორტი გაიხსნება. შედით ელფოსტითა და პაროლით, რომლებიც Rivervo-ს პანელში ჩანს. მოდელები სერვერზე ჩამოიტვირთება: პანელი ამის ბრძანებას აჩვენებს (მაგალითად, ollama pull llama3.2), რის შემდეგაც მოდელი ჩატში გამოჩნდება.

მოდელის არჩევა თქვენი სერვერისთვის

რა ზომის მოდელს გაუშვებს სერვერი, მეხსიერებაზეა დამოკიდებული. Ollama-ს დოკუმენტაცია მიახლოებით ორიენტირს იძლევა: მინიმუმ 8 GB RAM 7B მოდელებისთვის, 16 GB 13B მოდელებისთვის და 32 GB 33B მოდელებისთვის. GPU-ს გარეშე მოდელი პროცესორზე მუშაობს, ამიტომ მეტი ბირთვი უფრო სწრაფ პასუხებს ნიშნავს. ჩამოტვირთეთ მოდელი ტერმინალიდან და ის Open WebUI-ში გამოჩნდება:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

საკუთარი დომენი და HTTPS Open WebUI-სთვის

Open WebUI თავდაპირველად სერვერის IP მისამართზე ჩვეულებრივი HTTP-ით პასუხობს. სერტიფიკატიანი სახელის მისაცემად, მაგალითად, ai.example.com, თქვენს DNS-ში შექმენით ამ სახელის A ჩანაწერი, რომელიც სერვერის IPv4 მისამართზე მიუთითებს, შემდეგ კი მის წინ Caddy დააყენეთ: Caddy უფასო Let's Encrypt სერტიფიკატს თავად იღებს და აახლებს. ქვემოთ მოცემული ბრძანებები Ubuntu 24.04-ისთვისაა, რომელზეც ჩვენი აპლიკაციების სერვერები მუშაობს.

პანელში სერვერის ფაიერვოლში გახსენით TCP პორტები 80 და 443: Caddy-ს ისინი Let's Encrypt სერტიფიკატის მისაღებად და საიტის მოსამსახურებლად სჭირდება.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

როცა დომენი იმუშავებს, პირდაპირი 3000 პორტი აღარავის სჭირდება: /opt/ollama/compose.yml ფაილში შეცვალეთ "3000:…" "127.0.0.1:3000:…"-ით, გაუშვით docker compose up -d და ფაიერვოლიდან 3000 პორტი წაშალეთ. ამის შემდეგ Open WebUI მხოლოდ HTTPS-ით იქნება ხელმისაწვდომი.

Ollama-ს განახლება

/opt/ollama/compose.yml ფაილში იმიჯები ზუსტ ვერსიებზეა მიმაგრებული, ამიტომ უბრალოდ docker compose pull იმავე ვერსიას ხელახლა ჩამოტვირთავს. განახლებისთვის image: სტრიქონში ვერსია სასურველით შეცვალეთ (ჯერ რელიზის შენიშვნები წაიკითხეთ), შემდეგ ჩამოტვირთეთ იმიჯები და კონტეინერები ხელახლა შექმენით. მონაცემები Docker-ის ვოლიუმებში ინახება და შენარჩუნდება.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollama-ს დარეზერვება

პანელში შეგიძლიათ ჩართოთ მთელი სერვერის ყოველდღიური სარეზერვო ასლები (პაკეტის ფასის +20%, ინახება ბოლო 7 ასლი) და სერვერი ნებისმიერი მათგანიდან აღადგინოთ. აპლიკაციის საკუთარი მონაცემების ასლი ფაილში მაინც სასარგებლოა: მისი სხვა სერვერზე გადატანა ან აღდგენა შეიძლება ისე, რომ დანარჩენი ყველაფერი უკან არ დააბრუნოთ.

Open WebUI-ს ჩატები, მომხმარებლები და პარამეტრები ollama_open_webui ვოლიუმშია; ჩამოტვირთული მოდელები ollama_ollama-შია და მათი ხელახლა ჩამოტვირთვა მარტივად შეიძლება, ამიტომ ფაილურ სარეზერვო ასლებში მათ ჩვეულებრივ არ რთავენ:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

როგორ მუშაობს

  1. სერვერის შეკვეთის გვერდზე აირჩიეთ Ollama და პაკეტი საკმარისი მეხსიერებით.
  2. აპლიკაცია სერვერზე პირველივე გაშვებისას დაყენდება, ჩვეულებრივ რამდენიმე წუთში.
  3. გახსენით სერვერი პანელში: იქ ნახავთ მისამართს და შესვლის მონაცემებს.

კითხვები Ollama აპლიკაციაზე

მინიმუმია 8 GB მეხსიერება და 80 GB დისკი, რაც რამდენიმე მილიარდი პარამეტრის მქონე პატარა მოდელებს კომფორტულად იტევს. მოდელს დაახლოებით იმდენი თავისუფალი მეხსიერება სჭირდება, რამდენიც მისი ფაილის ზომაა, ამიტომ დიდ მოდელებს მეტი მეხსიერებისა და დისკის მქონე პაკეტი სჭირდება.
სიჩქარე მოდელის ზომასა და სერვერის პროცესორის ბირთვებზეა დამოკიდებული. პატარა მოდელები გამოსადეგი ტემპით პასუხობენ; დიდები შესამჩნევად ნელია, ამიტომ დაიწყეთ პატარათი და დიდზე მხოლოდ მაშინ გადადით, თუ ხარისხი ამას მოითხოვს.
დიახ, ის ხელმისაწვდომია როგორც x86, ისე ARM პაკეტებზე, რაც ARM-ს მეხსიერებაზე მომთხოვნი მოდელებისთვის გონივრულ ვარიანტად აქცევს.
Ollama-ს API (პორტი 11434) სერვერზე არ არის გამოქვეყნებული, ის მხოლოდ Docker-ის შიგნით Open WebUI-დან არის ხელმისაწვდომი. თქვენი კოდიდან მის გამოსაძახებლად ეს კოდი იმავე სერვერზე, იმავე Docker-ის ქსელში გაუშვით, ან გამოაქვეყნეთ პორტი როგორც `"127.0.0.1:11434:11434"` და გამოიყენეთ SSH-გვირაბი. ინტერნეტისთვის ნუ გახსნით: მას პაროლი არ აქვს.
რეგისტრაცია გამორთულია (`ENABLE_SIGNUP: "false"`), ამიტომ უცნობები ვერ დარეგისტრირდებიან. მომხმარებლები თავად დაამატეთ Open WebUI-ს ადმინისტრატორის პანელში.

სხვა აპლიკაციები კატეგორიიდან «AI და აგენტები»