Ollama: відкриті AI-моделі на вашому сервері
Мовні моделі, що працюють на процесорі й пам’яті самого сервера, з вебчатом для спілкування — запити не надсилаються в сторонній API.
Про Ollama
Ollama — інструмент з відкритим кодом, який завантажує й запускає мовні моделі з відкритими вагами однією командою. У його бібліотеці є сімейства моделей Llama, Gemma, Mistral, Qwen і DeepSeek у кількох розмірах, а простий HTTP API можуть викликати інші програми.
Розробники користуються ним, щоб створювати прототипи функцій без оплати за токени, а компанії — коли текст не має покидати їхню інфраструктуру, як-от внутрішні документи чи дані клієнтів.
Якщо запускати його на сервері, а не на ноутбуці, моделі доступні всій команді й вашим застосункам цілодобово. Ціна цього — обладнання: розмір моделі обмежений пам’яттю сервера, а швидкість генерації залежить від процесора. Моделі зберігаються як файли на диску, тож розмір диска теж обмежує, скільки їх можна тримати.
Для чого його використовують
Чат, який нічого не надсилає назовні
Ставте запитання щодо конфіденційних текстів у чаті в браузері, знаючи, що запит обробляється на вашому сервері.
Модель для вашого застосунку
Викликайте модель зі свого бекенду для зведень, класифікації чи вилучення даних, без рахунку за API за кожен запит.
Випробування різних відкритих моделей
Завантажте кілька моделей і порівняйте, як вони справляються з вашими реальними завданнями, перш ніж обрати одну.
Після замовлення
Ollama встановлюється на ваш сервер під час першого запуску разом із вебчатом за адресою http://адреса-сервера:3000/; порт 3000 відкривається у фаєрволі. Увійдіть з електронною адресою та паролем, показаними в панелі Rivervo. Моделі завантажуються на сервері: у панелі показано команду для цього (для прикладу ollama pull llama3.2), після чого модель з’являється в чаті.
Як обрати модель для свого сервера
Те, наскільки велику модель потягне сервер, залежить від пам’яті. Документація Ollama дає приблизний орієнтир: щонайменше 8 ГБ оперативної пам’яті для моделей 7B, 16 ГБ для 13B і 32 ГБ для 33B. Без GPU модель працює на процесорі, тож що більше ядер, то швидші відповіді. Завантажте модель із командного рядка — після цього вона з’явиться в Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listВласний домен і HTTPS для Open WebUI
Одразу після встановлення Open WebUI відповідає на IP-адресі сервера через звичайний HTTP. Щоб дати йому ім’я на кшталт ai.example.com із сертифікатом, створіть у своєму DNS A-запис для цього імені, що вказує на IPv4-адресу сервера, а потім поставте перед Open WebUI Caddy: він сам отримує безкоштовний сертифікат Let's Encrypt і продовжує його. Команди нижче — для Ubuntu 24.04, на якій працюють наші сервери застосунків.
У панелі відкрийте у фаєрволі сервера TCP-порти 80 і 443: вони потрібні Caddy, щоб отримати сертифікат Let's Encrypt і віддавати сайт.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyКоли домен запрацює, прямий порт 3000 більше нікому не потрібен: у /opt/ollama/compose.yml змініть "3000:…" на "127.0.0.1:3000:…", виконайте docker compose up -d і приберіть порт 3000 із фаєрвола. Відтоді Open WebUI доступний лише через HTTPS.
Оновлення Ollama
Образи в /opt/ollama/compose.yml закріплено за точними версіями, тож звичайний docker compose pull завантажить ту саму версію ще раз. Щоб оновитися, змініть версію в рядку image: на потрібну (спершу прочитайте примітки до релізу), потім завантажте образи й перестворіть контейнери. Дані лежать у томах Docker і зберігаються.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dРезервне копіювання Ollama
У панелі можна ввімкнути щоденні резервні копії всього сервера (+20 % до ціни тарифу, зберігаються останні 7 копій) і відновити сервер із будь-якої з них. Та копію власних даних застосунку у файлі все одно варто мати: її можна перенести на інший сервер або відновити, не відкочуючи все інше.
Чати, користувачі й налаштування Open WebUI лежать у томі ollama_open_webui; завантажені моделі — в ollama_ollama, і їх можна просто завантажити знову, тож зазвичай їх не включають у файлові резервні копії:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startЯк це працює
- Оберіть Ollama на сторінці замовлення сервера й тариф із достатнім обсягом пам’яті.
- Застосунок встановлюється на сервер під час першого запуску, зазвичай за кілька хвилин.
- Відкрийте сервер у панелі: там будуть адреса й дані для входу.