Süni intellekt və agentlər

Ollama: açıq AI modelləri öz serverinizdə

Dil modelləri serverin öz prosessorunda və yaddaşında işləyir, onlarla danışmaq üçün veb çat var və sorğular kənar API-yə göndərilmir.

Ollama ilə server sifariş edin VPS tarifləri

Ollama nədir

Ollama açıq çəkili dil modellərini bir əmrlə yükləyib işlətmək üçün açıq mənbəli alətdir. Onun kitabxanasında Llama, Gemma, Mistral, Qwen və DeepSeek kimi model ailələri müxtəlif ölçülərdə var, digər proqramların müraciət edə biləcəyi sadə HTTP API də təqdim olunur.

Proqramçılar ondan token başına xərc olmadan funksiyaları sınamaq üçün istifadə edir, şirkətlər isə mətn öz infrastrukturundan çıxmamalı olanda, məsələn, daxili sənədlər və ya müştəri məlumatları ilə işləyəndə seçir.

Noutbuk əvəzinə serverdə işlətmək modelləri bütün komanda və tətbiqləriniz üçün istənilən saatda əlçatan edir. Bunun qarşılığında avadanlıq məhdudiyyəti var: modelin ölçüsü serverin yaddaşı ilə, cavab sürəti isə prosessoru ilə müəyyən olunur, bu səbəbdən tarif seçimi burada xüsusilə vacibdir. Modellər diskdə fayl kimi saxlanılır, ona görə də eyni anda neçə model saxlaya biləcəyiniz diskin həcmindən də asılıdır.

Nə üçün istifadə olunur

Məlumatı kənara göndərməyən çat

Həssas mətnlər barədə brauzer çatında sual verin — sorğu Sizin serverinizdə emal olunur.

Öz tətbiqinizin arxasında model

Xülasə, təsnifat və ya məlumat çıxarılması üçün modeli backend-dən çağırın, hər sorğu üçün API ödənişi olmadan.

Müxtəlif açıq modelləri sınamaq

Bir neçə model yükləyin və seçim etməzdən əvvəl real tapşırıqlarınızda necə işlədiklərini müqayisə edin.

Sifarişdən sonra

Ollama serverin ilk işə salınmasında veb çatla birlikdə quraşdırılır; çat http://server-ünvanı:3000/ ünvanında açılır, 3000 portu firewall-da açılır. Rivervo panelində göstərilən e-poçt və şifrə ilə daxil olun. Modellər serverə yüklənir: bunun üçün əmr paneldə göstərilir (nümunə olaraq ollama pull llama3.2), yüklənən model isə çatda görünür.

Necə işləyir

Server sifarişi səhifəsində Ollama tətbiqini və kifayət qədər yaddaşı olan tarifi seçin.
Tətbiq serverin ilk işə salınmasında, adətən bir neçə dəqiqəyə quraşdırılır.
Paneldə serveri açın: ünvan və giriş məlumatları oradadır.

Ollama haqqında suallar

Minimum 8 GB yaddaş və 80 GB diskdir — bu, bir neçə milyard parametrli kiçik modellər üçün rahat kifayət edir. Model təxminən fayl ölçüsü qədər boş yaddaş tələb edir, ona görə də böyük modellər üçün daha çox yaddaş və diski olan tarif seçin.

Sürət modelin ölçüsündən və serverin prosessor nüvələrindən asılıdır. Kiçik modellər istifadəyə yararlı sürətlə cavab verir, böyüklər isə nəzərəçarpacaq dərəcədə yavaşdır; kiçikdən başlayın və yalnız keyfiyyət tələb edəndə böyüyə keçin.

Bəli, həm x86, həm də ARM tariflərində mövcuddur; ARM yaddaş tələb edən model işləri üçün məntiqli seçim ola bilər.