Ollama: өз серверіңіздегі ашық AI модельдері
Сервердің өз процессоры мен жадында жұмыс істейтін тілдік модельдер және олармен сөйлесуге арналған веб-чат — сұраулар сыртқы API-ге жіберілмейді.
Ollama туралы
Ollama — салмақтары ашық тілдік модельдерді бір командамен жүктеп, іске қосуға арналған ашық бастапқы кодты құрал. Оның кітапханасында Llama, Gemma, Mistral, Qwen және DeepSeek сияқты модель отбасылары бірнеше өлшемде бар, ал басқа бағдарламалар шақыра алатын қарапайым HTTP API ұсынады.
Әзірлеушілер оны әр токен үшін төлемей функцияларды сынап көру үшін пайдаланады, ал компаниялар мәтін өз инфрақұрылымынан шықпауы керек кезде, мысалы, ішкі құжаттар не клиент деректері болғанда қолданады.
Оны ноутбукта емес, серверде іске қоссаңыз, модельдер бүкіл командаға және қолданбаларыңызға кез келген уақытта қолжетімді болады. Есесіне жабдыққа тәуелді боласыз: модель өлшемін сервердің жады шектейді, ал мәтін шығару жылдамдығы процессорға байланысты. Модельдер дискіде файл ретінде сақталады, сондықтан қаншасын ұстай алатыныңызды диск көлемі де шектейді.
Не үшін қолданылады
Деректерді сыртқа жібермейтін чат
Құпия мәтін туралы сұрақтарды браузер чатында қойыңыз — сұрау сіздің серверіңізде өңделетінін білесіз.
Өз қолданбаңыздың артындағы модель
Қорытынды жасау, сұрыптау не деректер алу үшін модельді бэкендіңізден шақырыңыз — әр сұрау үшін API шоты келмейді.
Әр түрлі ашық модельдерді сынау
Бірнеше модельді жүктеп, біреуін таңдамас бұрын олардың сіздің нақты тапсырмаларыңызды қалай орындайтынын салыстырыңыз.
Тапсырыс бергеннен кейін
Ollama сервер алғаш іске қосылғанда http://сервер-мекенжайы:3000/ мекенжайындағы веб-чатпен бірге орнатылады; 3000 порты файрволда ашылады. Rivervo панелінде көрсетілген email мен құпиясөзбен кіріңіз. Модельдер серверге жүктеледі: панель ол үшін команданы көрсетеді (мысал ретінде ollama pull llama3.2), содан кейін модель чатта пайда болады.
Серверіңізге модель таңдау
Сервер қаншалықты үлкен модельді көтере алатыны жадқа байланысты. Ollama құжаттамасы шамамен мынадай бағдар береді: 7B модельдеріне кемінде 8 ГБ RAM, 13B модельдеріне 16 ГБ, 33B модельдеріне 32 ГБ. GPU болмаса, модель процессорда жұмыс істейді, сондықтан ядро көп болған сайын жауап тезірек. Модельді командалық жолдан жүктеңіз, содан кейін ол Open WebUI-да пайда болады:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listOpen WebUI үшін өз доменіңіз және HTTPS
Бастапқыда Open WebUI сервердің IP мекенжайында қарапайым HTTP арқылы жауап береді. Оған сертификаты бар ai.example.com сияқты атау беру үшін DNS-те сол атауға сервердің IPv4 мекенжайына бағытталған A жазбасын жасаңыз, содан кейін оның алдына Caddy қойыңыз: Caddy тегін Let's Encrypt сертификатын өзі алады және өзі ұзартады. Төмендегі командалар біздің қолданба серверлеріміз жұмыс істейтін Ubuntu 24.04 үшін.
Панельде сервер файрволында 80 және 443 TCP порттарын ашыңыз: олар Caddy-ге Let's Encrypt сертификатын алу және сайтты беру үшін керек.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyДомен жұмыс істей бастағанда 3000 портына тікелей кірудің керегі жоқ: /opt/ollama/compose.yml ішінде "3000:…" жолын "127.0.0.1:3000:…" етіп өзгертіп, docker compose up -d орындаңыз да, 3000 портын файрволдан алып тастаңыз. Сонда Open WebUI-ға тек HTTPS арқылы кіруге болады.
Ollama-ны жаңарту
/opt/ollama/compose.yml ішіндегі образдар нақты нұсқаларға бекітілген, сондықтан жай docker compose pull сол нұсқаны қайта жүктейді. Жаңарту үшін image: жолындағы нұсқаны керегіне өзгертіңіз (алдымен релиз жазбаларын оқыңыз), содан кейін образдарды жүктеп, контейнерлерді қайта жасаңыз. Деректер Docker томдарында тұрады және сақталады.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllama сақтық көшірмесі
Панельде бүкіл сервердің күнделікті сақтық көшірмелерін қосуға болады (тариф бағасының +20%, соңғы 7 көшірме сақталады) және серверді олардың кез келгенінен қалпына келтіруге болады. Дегенмен қолданбаның өз деректерінің файлдағы көшірмесі де артық болмайды: оны басқа серверге көшіруге немесе қалғанының бәрін кері қайтармай қалпына келтіруге болады.
Open WebUI-дың чаттары, пайдаланушылары мен баптаулары ollama_open_webui томында; жүктелген модельдер ollama_ollama томында жатыр және оларды жай қайта жүктеп алуға болады, сондықтан әдетте файлдық көшірмеге қосылмайды:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startҚалай жұмыс істейді
- Сервер тапсырысы бетінде Ollama қолданбасын таңдап, жады жеткілікті тарифті белгілеңіз.
- Қолданба сервер алғаш іске қосылғанда орнатылады, әдетте бірнеше минут ішінде.
- Панельде серверді ашыңыз: мекенжай мен кіру деректері сонда.