Ollama: открытые AI-модели на своём сервере
Языковые модели работают на процессоре и памяти самого сервера, общаться с ними можно в веб-чате, а запросы не уходят во внешний API.
Что такое Ollama
Ollama — open-source инструмент, который скачивает и запускает языковые модели с открытыми весами одной командой. В его библиотеке есть семейства Llama, Gemma, Mistral, Qwen, DeepSeek в разных размерах, а для других программ есть простой HTTP API.
Разработчики используют его, чтобы пробовать идеи без оплаты за токены, а компании — когда текст не должен покидать собственную инфраструктуру: внутренние документы, данные клиентов.
Сервер вместо ноутбука делает модели доступными всей команде и вашим приложениям в любое время. Цена этого — железо: размер модели ограничен памятью сервера, а скорость генерации зависит от процессора. Модели хранятся на диске в виде файлов, так что объём диска определяет и то, сколько их можно держать одновременно. Поэтому минимальный тариф для Ollama заметно крупнее, чем у большинства других приложений.
Для чего его используют
Чат, который ничего не отправляет наружу
Задавайте вопросы по конфиденциальным текстам в браузерном чате — запрос обрабатывается на вашем сервере.
Модель за вашим приложением
Вызывайте модель из бэкенда для выжимок, классификации или извлечения данных — без счёта за каждый запрос.
Подбор открытой модели
Скачайте несколько моделей и сравните их на своих реальных задачах, прежде чем остановиться на одной.
После заказа
Ollama устанавливается на сервер при первом запуске вместе с веб-чатом по адресу http://адрес-сервера:3000/, порт 3000 открыт в файрволе. Войдите с email и паролем из панели Rivervo. Модели скачиваются на сервер: команда для этого показана в панели (например, ollama pull llama3.2), после чего модель появляется в чате.
Как это работает
- Выберите Ollama на странице заказа сервера и тариф с достаточным объёмом памяти.
- Приложение установится на сервер при первом запуске, обычно за несколько минут.
- Откройте сервер в панели: там адрес и данные для входа.