Ollama: kendi sunucunuzda açık AI modelleri
Sunucunun kendi işlemcisi ve belleğiyle çalışan dil modelleri ve onlarla konuşmak için bir web sohbeti; böylece istemler dışarıdaki bir API'ye gönderilmez.
Ollama hakkında
Ollama, açık ağırlıklı dil modellerini tek bir komutla indirip çalıştırmaya yarayan açık kaynak bir araçtır. Kütüphanesi Llama, Gemma, Mistral, Qwen ve DeepSeek gibi model ailelerini birkaç boyutta içerir ve diğer programların çağırabileceği basit bir HTTP API sunar.
Geliştiriciler onu token başına maliyet olmadan özellik prototiplemek için, şirketler ise metnin kendi altyapılarından çıkmaması gereken durumlarda, örneğin iç belgeler veya müşteri verileri için kullanır.
Onu bir dizüstü yerine bir sunucuda çalıştırmak, modellerin tüm ekip ve uygulamalarınız için günün her saati erişilebilir olması demektir. Bedeli donanımdır: model boyutu sunucunun belleğiyle sınırlıdır, üretim hızı da işlemcisine bağlıdır. Modeller diskte dosya olarak saklanır; bu yüzden disk boyutu da kaç tane tutabileceğinizi sınırlar.
Ne için kullanılır
Hiçbir veriyi dışarı göndermeyen bir sohbet
Hassas metinler hakkındaki sorularınızı, istemin sunucunuzda işlendiğini bilerek tarayıcı sohbetinde sorun.
Kendi uygulamanızın arkasında bir model
Özetleme, sınıflandırma veya bilgi çıkarma için modeli backend'inizden çağırın; istek başına API faturası yok.
Farklı açık modelleri denemek
Birkaç model indirin ve birini seçmeden önce gerçek görevlerinizi nasıl ele aldıklarını karşılaştırın.
Sipariş verdikten sonra
Ollama, sunucunuzun ilk açılışında http://sunucu-adresiniz:3000/ adresindeki bir web sohbetiyle birlikte kurulur; 3000 portu güvenlik duvarında açılır. Rivervo panelinde gösterilen e-posta ve şifreyle giriş yapın. Modeller sunucuya indirilir: panel bunun için komutu gösterir (örnek olarak ollama pull llama3.2) ve model ardından sohbette görünür.
Sunucunuz için model seçmek
Sunucunun ne kadar büyük bir model çalıştırabileceği belleğe bağlıdır. Ollama'nın belgeleri kabaca şöyle bir yol gösterir: 7B modeller için en az 8 GB RAM, 13B modeller için 16 GB, 33B modeller için 32 GB. GPU olmadan model işlemcide çalışır; bu yüzden daha fazla çekirdek daha hızlı yanıt demektir. Bir modeli kabuktan indirin, ardından Open WebUI'da görünür:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listOpen WebUI için kendi alan adınız ve HTTPS
Open WebUI kurulduğu haliyle sunucunun IP adresinde düz HTTP üzerinden yanıt verir. Ona sertifikalı ai.example.com gibi bir isim vermek için DNS'inizde o isim için sunucunun IPv4 adresini gösteren bir A kaydı oluşturun, ardından önüne Caddy koyun: Caddy ücretsiz bir Let's Encrypt sertifikasını kendisi alır ve yeniler. Aşağıdaki komutlar, uygulama sunucularımızın çalıştırdığı Ubuntu 24.04 içindir.
Panelde sunucunun güvenlik duvarında 80 ve 443 numaralı TCP portlarını açın: Caddy'nin Let's Encrypt sertifikasını alması ve siteyi sunması için bunlara ihtiyacı var.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyAlan adı çalışınca artık kimsenin çıplak 3000 portuna ihtiyacı kalmaz: /opt/ollama/compose.yml dosyasında "3000:…" ifadesini "127.0.0.1:3000:…" olarak değiştirin, docker compose up -d çalıştırın ve 3000 portunu güvenlik duvarından kaldırın. Open WebUI artık yalnızca HTTPS üzerinden erişilebilir.
Ollama'yı güncellemek
/opt/ollama/compose.yml dosyasındaki imajlar tam sürümlere sabitlenmiştir; bu yüzden yalnızca docker compose pull aynı sürümü tekrar indirir. Güncellemek için image: satırındaki sürümü istediğinizle değiştirin (önce sürüm notlarını okuyun), ardından imajı indirip konteynerleri yeniden oluşturun. Veriler Docker volume'larında durur ve korunur.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllama'nın yedeğini almak
Panelde tüm sunucunun günlük yedeklerini (paket fiyatının %20'si, son 7 kopya saklanır) açabilir ve sunucuyu bunlardan herhangi birinden geri yükleyebilirsiniz. Uygulamanın kendi verilerinin bir dosyadaki kopyası yine de değerlidir: başka bir sunucuya taşınabilir ya da geri kalan her şeyi geri almadan geri yüklenebilir.
Open WebUI'ın sohbetleri, kullanıcıları ve ayarları ollama_open_webui volume'undadır; indirilen modeller ollama_ollama içindedir ve kolayca yeniden indirilebilir; bu yüzden genellikle dosya yedeklerine dahil edilmez:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startNasıl çalışır
- Sunucu sipariş sayfasında Ollama uygulamasını seçin ve yeterli belleğe sahip bir paket belirleyin.
- Uygulama, sunucu ilk açıldığında, genellikle birkaç dakika içinde kurulur.
- Panelinizde sunucuyu açın: adres ve giriş bilgileri orada.