Ollama: отворени AI модели на вашия сървър
Езикови модели, които работят с процесора и паметта на самия сървър, с уеб чат за разговор с тях — заявките не се изпращат към външен API.
За Ollama
Ollama е инструмент с отворен код за изтегляне и стартиране на езикови модели с отворени тегла с една команда. Библиотеката му включва семейства модели като Llama, Gemma, Mistral, Qwen и DeepSeek в няколко размера и предлага прост HTTP API, който други програми могат да извикват.
Разработчиците го използват за прототипи на функции без разходи за токени, а компаниите — когато текстовете не бива да напускат собствената им инфраструктура, например вътрешни документи или данни на клиенти.
Когато работи на сървър, а не на лаптоп, моделите са на разположение на целия екип и на приложенията ви по всяко време. Цената е хардуерът: размерът на модела е ограничен от паметта на сървъра, а скоростта на генериране зависи от процесора. Моделите се съхраняват като файлове на диска, така че размерът на диска също ограничава колко можете да държите.
За какво се използва
Чат, който не изпраща данни навън
Задавайте въпроси за чувствителни текстове в чата в браузъра, знаейки, че заявката се обработва на вашия сървър.
Модел зад вашето приложение
Извиквайте модела от бекенда си за резюмета, класификация или извличане на данни, без сметка за API на всяка заявка.
Изпробване на различни отворени модели
Изтеглете няколко модела и сравнете как се справят с реалните ви задачи, преди да изберете един.
След поръчката
Ollama се инсталира на сървъра при първото му стартиране заедно с уеб чат на http://<адрес на сървъра>:3000/; порт 3000 е отворен в защитната стена. Влезте с имейла и паролата от панела на Rivervo. Моделите се изтеглят на сървъра: панелът показва командата за това (например ollama pull llama3.2), след което моделът се появява в чата.
Избор на модел за вашия сървър
Колко голям модел може да пусне сървърът, зависи от паметта. Документацията на Ollama дава ориентир: поне 8 GB RAM за 7B модели, 16 GB за 13B модели и 32 GB за 33B модели. Без GPU моделът работи на процесора, така че повече ядра означават по-бързи отговори. Изтеглете модел от командния ред и той ще се появи в Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listСобствен домейн и HTTPS за Open WebUI
По подразбиране Open WebUI отговаря на IP адреса на сървъра по обикновен HTTP. За да му дадете име като ai.firmata.bg със сертификат, създайте в DNS A запис за това име, сочещ към IPv4 адреса на сървъра, и поставете Caddy пред него: Caddy сам получава безплатен сертификат от Let's Encrypt и го подновява. Командите по-долу са за Ubuntu 24.04, на която работят нашите сървъри за приложения.
В панела отворете TCP портове 80 и 443 в защитната стена на сървъра: Caddy се нуждае от тях, за да получи сертификата от Let's Encrypt и да обслужва сайта.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyЩом домейнът заработи, порт 3000 вече не е нужен: в /opt/ollama/compose.yml сменете "3000:…" с "127.0.0.1:3000:…", изпълнете docker compose up -d и премахнете порт 3000 от защитната стена. Тогава Open WebUI е достъпен само през HTTPS.
Обновяване на Ollama
Образите в /opt/ollama/compose.yml са фиксирани към точни версии, така че обикновено docker compose pull изтегля отново същата версия. За да обновите, сменете версията в реда image: с желаната (първо прочетете бележките към изданието), след това изтеглете образите и пресъздайте контейнерите. Данните са в Docker томове и се запазват.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dРезервно копие на Ollama
В панела можете да включите ежедневни резервни копия на целия сървър (+20% от цената на плана, пазят се последните 7 копия) и да възстановите сървъра от всяко от тях. Копие на данните на самото приложение във файл пак си струва: то може да се пренесе на друг сървър или да се възстанови, без да връщате назад всичко останало.
Чатовете, потребителите и настройките на Open WebUI са в тома ollama_open_webui; изтеглените модели са в ollama_ollama и могат просто да се изтеглят отново, затова обикновено не се включват във файловите резервни копия:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startКак работи
- Изберете Ollama на страницата за поръчка на сървър и план с достатъчно памет.
- Приложението се инсталира на сървъра при първото стартиране, обикновено за няколко минути.
- Отворете сървъра в панела си: там са адресът и данните за вход.