Ollama: modelos de AI abertos no seu próprio servidor
Modelos de linguagem que rodam no processador e na memória do próprio servidor, com um chat web para conversar com eles, sem enviar os prompts a uma API externa.
Sobre o Ollama
O Ollama é uma ferramenta de código aberto para baixar e rodar modelos de linguagem de pesos abertos com um único comando. A biblioteca dele inclui famílias de modelos como Llama, Gemma, Mistral, Qwen e DeepSeek em vários tamanhos, e ele oferece uma API HTTP simples que outros programas podem chamar.
Desenvolvedores o usam para prototipar recursos sem custo por token, e empresas o usam quando o texto não pode sair da própria infraestrutura, por exemplo documentos internos ou dados de clientes.
Rodá-lo em um servidor, e não em um notebook, significa que os modelos ficam disponíveis para a equipe toda e para seus aplicativos a qualquer hora. A contrapartida é o hardware: o tamanho do modelo é limitado pela memória do servidor, e a velocidade de geração depende do processador. Os modelos ficam guardados como arquivos em disco, então o tamanho do disco também limita quantos você pode manter.
Para que as pessoas usam
Um chat que nunca envia dados para fora
Faça perguntas sobre textos sigilosos no chat do navegador, sabendo que o prompt é processado no seu servidor.
Um modelo por trás do seu aplicativo
Chame o modelo a partir do seu backend para resumos, classificação ou extração de dados, sem conta de API por requisição.
Testar diferentes modelos abertos
Baixe vários modelos e compare como eles lidam com suas tarefas reais antes de escolher um.
Depois da contratação
O Ollama é instalado no seu servidor na primeira inicialização junto com um chat web em http://endereco-do-servidor:3000/; a porta 3000 é aberta no firewall. Entre com o e-mail e a senha exibidos no painel da Rivervo. Os modelos são baixados no servidor: o painel mostra o comando para isso (por exemplo, ollama pull llama3.2), e o modelo passa a aparecer no chat.
Escolher um modelo para o seu servidor
O tamanho do modelo que o servidor consegue rodar depende da memória. A documentação do Ollama dá uma referência aproximada: pelo menos 8 GB de RAM para modelos 7B, 16 GB para modelos 13B e 32 GB para modelos 33B. Sem GPU, o modelo roda no processador, então mais núcleos significam respostas mais rápidas. Baixe um modelo pelo terminal, e ele aparece no Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listDomínio próprio e HTTPS para o Open WebUI
Logo após a instalação, o Open WebUI responde no endereço IP do servidor, por HTTP simples. Para dar a ele um nome como ai.example.com com certificado, crie no seu DNS um registro A para esse nome apontando para o endereço IPv4 do servidor e coloque o Caddy na frente: o Caddy obtém sozinho um certificado gratuito da Let's Encrypt e o renova. Os comandos abaixo são para o Ubuntu 24.04, que nossos servidores de aplicativos usam.
No painel, abra as portas TCP 80 e 443 no firewall do servidor: o Caddy precisa delas para obter o certificado da Let's Encrypt e servir o site.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyQuando o domínio estiver funcionando, ninguém mais precisa da porta 3000 direta: em /opt/ollama/compose.yml, troque "3000:…" por "127.0.0.1:3000:…", rode docker compose up -d e remova a porta 3000 do firewall. A partir daí, o Open WebUI só pode ser acessado por HTTPS.
Atualizar o Ollama
As imagens em /opt/ollama/compose.yml estão fixadas em versões exatas, então um simples docker compose pull baixa a mesma versão de novo. Para atualizar, troque a versão na linha image: pela que você quer (leia antes as notas da versão), baixe a imagem e recrie os contêineres. Os dados ficam em volumes do Docker e são preservados.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup do Ollama
No painel, você pode ativar backups diários do servidor inteiro (+20% sobre o preço do plano, com as últimas 7 cópias guardadas) e restaurar o servidor a partir de qualquer uma delas. Mesmo assim, vale ter uma cópia dos dados do próprio aplicativo em um arquivo: ela pode ser levada para outro servidor ou restaurada sem voltar todo o resto no tempo.
Os chats, usuários e configurações do Open WebUI ficam no volume ollama_open_webui; os modelos baixados ficam em ollama_ollama e podem simplesmente ser baixados de novo, por isso costumam ficar de fora dos backups em arquivo:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startComo funciona
- Escolha o Ollama na página de contratação do servidor e um plano com memória suficiente.
- O aplicativo é instalado no servidor na primeira inicialização, normalmente em poucos minutos.
- Abra o servidor no seu painel: o endereço e os dados de acesso estão lá.