Ollama: modelos de AI abiertos en tu propio servidor
Modelos de lenguaje que funcionan con el procesador y la memoria del propio servidor, con un chat web para hablar con ellos, de modo que tus prompts no se envían a ninguna API externa.
Sobre Ollama
Ollama es una herramienta de código abierto para descargar y ejecutar modelos de lenguaje de pesos abiertos con un solo comando. Su biblioteca incluye familias de modelos como Llama, Gemma, Mistral, Qwen y DeepSeek en varios tamaños, y ofrece una API HTTP sencilla a la que pueden llamar otros programas.
Los desarrolladores la usan para crear prototipos de funciones sin pagar por token, y las empresas, cuando el texto no puede salir de su propia infraestructura, por ejemplo documentos internos o datos de clientes.
Tenerla en un servidor en lugar de en un portátil significa que los modelos están disponibles para todo el equipo y para tus aplicaciones a cualquier hora. La contrapartida es el hardware: el tamaño del modelo está limitado por la memoria del servidor, y la velocidad de generación depende de su procesador. Los modelos se guardan como archivos en disco, así que el tamaño del disco también limita cuántos puedes tener.
Para qué se usa
Un chat que nunca envía datos fuera
Haz preguntas sobre textos sensibles en el chat del navegador, sabiendo que el prompt se procesa en tu servidor.
Un modelo detrás de tu propia aplicación
Llama al modelo desde tu backend para resúmenes, clasificación o extracción de datos, sin factura de API por petición.
Probar distintos modelos abiertos
Descarga varios modelos y compara cómo resuelven tus tareas reales antes de elegir uno.
Después del pedido
Ollama se instala en tu servidor en el primer arranque junto con un chat web en http://direccion-de-tu-servidor:3000/; el puerto 3000 queda abierto en el firewall. Inicia sesión con el correo y la contraseña que aparecen en el panel de Rivervo. Los modelos se descargan en el servidor: el panel muestra el comando para hacerlo (por ejemplo, ollama pull llama3.2) y después el modelo aparece en el chat.
Elegir un modelo para tu servidor
El tamaño del modelo que puede ejecutar el servidor depende de la memoria. La documentación de Ollama da una guía aproximada: al menos 8 GB de RAM para modelos de 7B, 16 GB para modelos de 13B y 32 GB para modelos de 33B. Sin GPU, el modelo se ejecuta en el procesador, así que más núcleos significan respuestas más rápidas. Descarga un modelo desde la terminal y aparecerá en Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listTu propio dominio y HTTPS para Open WebUI
Recién instalado, Open WebUI responde en la dirección IP del servidor por HTTP sin cifrar. Para darle un nombre como ai.example.com con certificado, crea en tu DNS un registro A para ese nombre que apunte a la dirección IPv4 del servidor y pon Caddy delante: Caddy obtiene por sí solo un certificado gratuito de Let's Encrypt y lo renueva. Los comandos de abajo son para Ubuntu 24.04, el sistema de nuestros servidores de aplicaciones.
En el panel, abre los puertos TCP 80 y 443 en el firewall del servidor: Caddy los necesita para obtener el certificado de Let's Encrypt y para servir el sitio.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyCuando el dominio funcione, ya nadie necesita el puerto 3000 directo: en /opt/ollama/compose.yml cambia "3000:…" por "127.0.0.1:3000:…", ejecuta docker compose up -d y quita el puerto 3000 del firewall. A partir de ahí, Open WebUI solo es accesible por HTTPS.
Actualizar Ollama
Las imágenes de /opt/ollama/compose.yml están fijadas a versiones exactas, así que un simple docker compose pull vuelve a descargar la misma versión. Para actualizar, cambia la versión en la línea image: por la que quieras (lee antes las notas de la versión), descarga la imagen y vuelve a crear los contenedores. Los datos están en volúmenes de Docker y se conservan.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dCopias de seguridad de Ollama
En el panel puedes activar copias de seguridad diarias de todo el servidor (+20 % del precio del plan; se guardan las 7 últimas) y restaurar el servidor desde cualquiera de ellas. Aun así, conviene tener una copia de los datos de la propia aplicación en un archivo: se puede llevar a otro servidor o restaurar sin revertir todo lo demás.
Los chats, usuarios y ajustes de Open WebUI están en el volumen ollama_open_webui; los modelos descargados están en ollama_ollama y basta con volver a descargarlos, así que normalmente se dejan fuera de las copias en archivo:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCómo funciona
- Elige Ollama en la página de pedido del servidor y escoge un plan con memoria suficiente.
- La aplicación se instala en el servidor en su primer arranque, normalmente en pocos minutos.
- Abre el servidor en tu panel: ahí tienes la dirección y los datos de acceso.