Почати
Усі застосунки для VPS
AI та агенти

Ollama: відкриті AI-моделі на вашому сервері

Мовні моделі, що працюють на процесорі й пам’яті самого сервера, з вебчатом для спілкування — запити не надсилаються в сторонній API.

Замовити сервер із Ollama Тарифи VPS

Про Ollama

Ollama — інструмент з відкритим кодом, який завантажує й запускає мовні моделі з відкритими вагами однією командою. У його бібліотеці є сімейства моделей Llama, Gemma, Mistral, Qwen і DeepSeek у кількох розмірах, а простий HTTP API можуть викликати інші програми.

Розробники користуються ним, щоб створювати прототипи функцій без оплати за токени, а компанії — коли текст не має покидати їхню інфраструктуру, як-от внутрішні документи чи дані клієнтів.

Якщо запускати його на сервері, а не на ноутбуці, моделі доступні всій команді й вашим застосункам цілодобово. Ціна цього — обладнання: розмір моделі обмежений пам’яттю сервера, а швидкість генерації залежить від процесора. Моделі зберігаються як файли на диску, тож розмір диска теж обмежує, скільки їх можна тримати.

Для чого його використовують

Чат, який нічого не надсилає назовні

Ставте запитання щодо конфіденційних текстів у чаті в браузері, знаючи, що запит обробляється на вашому сервері.

Модель для вашого застосунку

Викликайте модель зі свого бекенду для зведень, класифікації чи вилучення даних, без рахунку за API за кожен запит.

Випробування різних відкритих моделей

Завантажте кілька моделей і порівняйте, як вони справляються з вашими реальними завданнями, перш ніж обрати одну.

Після замовлення

Ollama встановлюється на ваш сервер під час першого запуску разом із вебчатом за адресою http://адреса-сервера:3000/; порт 3000 відкривається у фаєрволі. Увійдіть з електронною адресою та паролем, показаними в панелі Rivervo. Моделі завантажуються на сервері: у панелі показано команду для цього (для прикладу ollama pull llama3.2), після чого модель з’являється в чаті.

Як обрати модель для свого сервера

Те, наскільки велику модель потягне сервер, залежить від пам’яті. Документація Ollama дає приблизний орієнтир: щонайменше 8 ГБ оперативної пам’яті для моделей 7B, 16 ГБ для 13B і 32 ГБ для 33B. Без GPU модель працює на процесорі, тож що більше ядер, то швидші відповіді. Завантажте модель із командного рядка — після цього вона з’явиться в Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Власний домен і HTTPS для Open WebUI

Одразу після встановлення Open WebUI відповідає на IP-адресі сервера через звичайний HTTP. Щоб дати йому ім’я на кшталт ai.example.com із сертифікатом, створіть у своєму DNS A-запис для цього імені, що вказує на IPv4-адресу сервера, а потім поставте перед Open WebUI Caddy: він сам отримує безкоштовний сертифікат Let's Encrypt і продовжує його. Команди нижче — для Ubuntu 24.04, на якій працюють наші сервери застосунків.

У панелі відкрийте у фаєрволі сервера TCP-порти 80 і 443: вони потрібні Caddy, щоб отримати сертифікат Let's Encrypt і віддавати сайт.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Коли домен запрацює, прямий порт 3000 більше нікому не потрібен: у /opt/ollama/compose.yml змініть "3000:…" на "127.0.0.1:3000:…", виконайте docker compose up -d і приберіть порт 3000 із фаєрвола. Відтоді Open WebUI доступний лише через HTTPS.

Оновлення Ollama

Образи в /opt/ollama/compose.yml закріплено за точними версіями, тож звичайний docker compose pull завантажить ту саму версію ще раз. Щоб оновитися, змініть версію в рядку image: на потрібну (спершу прочитайте примітки до релізу), потім завантажте образи й перестворіть контейнери. Дані лежать у томах Docker і зберігаються.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Резервне копіювання Ollama

У панелі можна ввімкнути щоденні резервні копії всього сервера (+20 % до ціни тарифу, зберігаються останні 7 копій) і відновити сервер із будь-якої з них. Та копію власних даних застосунку у файлі все одно варто мати: її можна перенести на інший сервер або відновити, не відкочуючи все інше.

Чати, користувачі й налаштування Open WebUI лежать у томі ollama_open_webui; завантажені моделі — в ollama_ollama, і їх можна просто завантажити знову, тож зазвичай їх не включають у файлові резервні копії:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Як це працює

  1. Оберіть Ollama на сторінці замовлення сервера й тариф із достатнім обсягом пам’яті.
  2. Застосунок встановлюється на сервер під час першого запуску, зазвичай за кілька хвилин.
  3. Відкрийте сервер у панелі: там будуть адреса й дані для входу.

Питання про Ollama

Мінімум — 8 ГБ пам’яті та 80 ГБ диска, у них вільно вміщаються невеликі моделі на кілька мільярдів параметрів. Моделі потрібно приблизно стільки вільної пам’яті, скільки важить її файл, тож для більших моделей знадобиться тариф із більшим обсягом пам’яті й диска.
Швидкість залежить від розміру моделі та кількості ядер процесора сервера. Невеликі моделі відповідають у прийнятному темпі, великі — помітно повільніше, тож почніть із малої й переходьте на більшу, лише якщо цього вимагає якість.
Так, вона доступна і на тарифах x86, і на тарифах ARM, тож ARM — розумний варіант для роботи з моделями, яким потрібно багато пам’яті.
API Ollama (порт 11434) на сервері не опубліковано — він доступний лише для Open WebUI всередині Docker. Щоб викликати його зі свого коду, запустіть цей код на тому самому сервері в тій самій мережі Docker або опублікуйте порт як `"127.0.0.1:11434:11434"` і використовуйте SSH-тунель. Не відкривайте його в інтернет: пароля в нього немає.
Реєстрацію вимкнено (`ENABLE_SIGNUP: "false"`), тож сторонні не зможуть зареєструватися. Додавайте користувачів самі в адмінпанелі Open WebUI.

Інші застосунки в розділі «AI та агенти»