Ollama: modelos de AI abertos no seu próprio servidor
Modelos de linguagem que correm no processador e na memória do próprio servidor, com um chat web para falar com eles, para que os prompts não sejam enviados para uma API externa.
Sobre o Ollama
O Ollama é uma ferramenta open source para descarregar e correr modelos de linguagem de pesos abertos com um único comando. A sua biblioteca inclui famílias de modelos como Llama, Gemma, Mistral, Qwen e DeepSeek em vários tamanhos, e disponibiliza uma API HTTP simples que outros programas podem chamar.
Os programadores usam-no para criar protótipos de funcionalidades sem custos por token, e as empresas usam-no quando o texto não pode sair da sua própria infraestrutura, por exemplo documentos internos ou dados de clientes.
Corrê-lo num servidor em vez de num portátil significa que os modelos ficam disponíveis para toda a equipa e para as suas aplicações a qualquer hora. A contrapartida é o hardware: o tamanho do modelo é limitado pela memória do servidor e a velocidade de geração depende do processador. Os modelos ficam guardados como ficheiros em disco, por isso o tamanho do disco também limita quantos pode manter.
Para que é usado
Um chat que nunca envia dados para fora
Faça perguntas sobre textos sensíveis no chat do browser, sabendo que o prompt é processado no seu servidor.
Um modelo por trás da sua aplicação
Chame o modelo a partir do seu backend para resumos, classificação ou extração, sem fatura de API por pedido.
Experimentar diferentes modelos abertos
Descarregue vários modelos e compare como lidam com as suas tarefas reais antes de escolher um.
Depois de encomendar
O Ollama é instalado no seu servidor no primeiro arranque, juntamente com um chat web em http://endereco-do-seu-servidor:3000/; a porta 3000 fica aberta na firewall. Inicie sessão com o email e a palavra-passe indicados no painel Rivervo. Os modelos são descarregados no servidor: o painel mostra o comando para isso (ollama pull llama3.2, como exemplo), e o modelo aparece depois no chat.
Escolher um modelo para o seu servidor
O tamanho do modelo que o servidor consegue correr depende da memória. A documentação do Ollama dá uma referência aproximada: pelo menos 8 GB de RAM para modelos 7B, 16 GB para modelos 13B e 32 GB para modelos 33B. Sem GPU, o modelo corre no processador, por isso mais núcleos significam respostas mais rápidas. Descarregue um modelo a partir da shell e ele aparece no Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listDomínio próprio e HTTPS para o Open WebUI
De origem, o Open WebUI responde no endereço IP do servidor, em HTTP simples. Para lhe dar um nome como ai.example.com com certificado, crie no seu DNS um registo A para esse nome a apontar para o endereço IPv4 do servidor e coloque o Caddy à frente: o Caddy obtém sozinho um certificado Let's Encrypt gratuito e renova-o. Os comandos abaixo são para o Ubuntu 24.04, que é o sistema dos nossos servidores de aplicações.
No painel, abra as portas TCP 80 e 443 na firewall do servidor: o Caddy precisa delas para obter o certificado Let's Encrypt e para servir o site.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyCom o domínio a funcionar, já ninguém precisa da porta 3000 em bruto: em /opt/ollama/compose.yml altere "3000:…" para "127.0.0.1:3000:…", execute docker compose up -d e remova a porta 3000 da firewall. A partir daí, o Open WebUI só fica acessível por HTTPS.
Atualizar o Ollama
As imagens em /opt/ollama/compose.yml estão fixadas em versões exatas, por isso um simples docker compose pull volta a descarregar a mesma versão. Para atualizar, altere a versão na linha image: para a que pretende (leia primeiro as notas da versão) e, depois, descarregue e recrie os contentores. Os dados ficam em volumes Docker e são mantidos.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dCópias de segurança do Ollama
No painel pode ativar backups diários do servidor inteiro (+20% do preço do plano, são mantidas as 7 cópias mais recentes) e restaurar o servidor a partir de qualquer uma delas. Ainda assim, vale a pena ter uma cópia dos dados da própria aplicação num ficheiro: pode ser levada para outro servidor ou restaurada sem reverter tudo o resto.
As conversas, os utilizadores e as definições do Open WebUI estão no volume ollama_open_webui; os modelos descarregados estão em ollama_ollama e podem simplesmente voltar a ser descarregados, por isso costumam ficar de fora das cópias em ficheiro:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startComo funciona
- Escolha Ollama na página de encomenda do servidor e um plano com memória suficiente.
- A aplicação é instalada no servidor no primeiro arranque, normalmente em poucos minutos.
- Abra o servidor no seu painel: o endereço e os dados de acesso estão lá.