Ollama: model AI terbuka di server Anda sendiri
Model bahasa yang berjalan di prosesor dan memori server sendiri, dengan chat web untuk berinteraksi, sehingga prompt tidak dikirim ke API pihak luar.
Tentang Ollama
Ollama adalah tool open source untuk mengunduh dan menjalankan model bahasa open-weight dengan satu perintah. Library-nya mencakup keluarga model seperti Llama, Gemma, Mistral, Qwen, dan DeepSeek dalam berbagai ukuran, serta menyediakan HTTP API sederhana yang bisa dipanggil program lain.
Developer memakainya untuk membuat prototipe fitur tanpa biaya per token, dan perusahaan memakainya ketika teks tidak boleh keluar dari infrastruktur sendiri, misalnya dokumen internal atau data pelanggan.
Menjalankannya di server, bukan di laptop, berarti model tersedia untuk seluruh tim dan aplikasi Anda kapan saja. Konsekuensinya ada di hardware: ukuran model dibatasi oleh memori server, dan kecepatan generasi bergantung pada prosesornya. Model disimpan sebagai file di disk, jadi ukuran disk juga membatasi berapa banyak model yang bisa Anda simpan.
Untuk apa orang memakainya
Chat yang tidak pernah mengirim data keluar
Ajukan pertanyaan tentang teks sensitif di chat browser, dengan kepastian bahwa prompt diproses di server Anda.
Model di balik aplikasi Anda
Panggil model dari backend Anda untuk ringkasan, klasifikasi, atau ekstraksi data, tanpa tagihan API per permintaan.
Mencoba berbagai model terbuka
Unduh beberapa model dan bandingkan hasilnya pada pekerjaan nyata Anda sebelum memilih satu.
Setelah Anda memesan
Ollama diinstal di server Anda saat pertama kali dijalankan, bersama chat web di http://alamat-server-anda:3000/; port 3000 dibuka di firewall. Masuk dengan email dan password yang ditampilkan di panel Rivervo. Model diunduh di server: panel menampilkan perintahnya (contohnya ollama pull llama3.2), lalu model akan muncul di chat.
Memilih model untuk server Anda
Besar model yang bisa dijalankan server bergantung pada memori. Dokumentasi Ollama memberi panduan kasar: minimal RAM 8 GB untuk model 7B, 16 GB untuk model 13B, dan 32 GB untuk model 33B. Tanpa GPU, model berjalan di prosesor, jadi makin banyak core makin cepat jawabannya. Unduh model dari shell, lalu model akan muncul di Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listDomain sendiri dan HTTPS untuk Open WebUI
Secara default Open WebUI dapat diakses di alamat IP server melalui HTTP biasa. Untuk memberinya nama seperti ai.contoh.co.id dengan sertifikat, buat record A untuk nama tersebut yang mengarah ke alamat IPv4 server di DNS Anda, lalu pasang Caddy di depannya: Caddy mengambil sertifikat Let's Encrypt gratis secara otomatis dan memperpanjangnya sendiri. Perintah di bawah ini untuk Ubuntu 24.04 yang dipakai server aplikasi kami.
Di panel, buka port TCP 80 dan 443 di firewall server: Caddy membutuhkannya untuk mendapatkan sertifikat Let's Encrypt dan untuk melayani website.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddySetelah domain berfungsi, port 3000 tidak perlu diakses langsung lagi: di /opt/ollama/compose.yml ubah "3000:…" menjadi "127.0.0.1:3000:…", jalankan docker compose up -d, lalu hapus port 3000 dari firewall. Open WebUI kemudian hanya bisa diakses melalui HTTPS.
Memperbarui Ollama
Image di /opt/ollama/compose.yml dikunci ke versi tertentu, jadi docker compose pull biasa hanya mengambil versi yang sama lagi. Untuk memperbarui, ubah versi di baris image: ke versi yang Anda inginkan (baca dulu catatan rilisnya), lalu pull dan buat ulang container. Data tersimpan di volume Docker dan tetap aman.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dBackup Ollama
Di panel, Anda dapat mengaktifkan backup harian seluruh server (+20% dari harga paket, 7 salinan terakhir disimpan) dan memulihkan server dari salah satunya. Salinan data aplikasi dalam bentuk file tetap layak disimpan: bisa dipindahkan ke server lain atau dipulihkan tanpa mengembalikan semua hal lainnya.
Chat, pengguna, dan pengaturan Open WebUI ada di volume ollama_open_webui; model yang diunduh ada di ollama_ollama dan bisa diunduh ulang dengan mudah, jadi biasanya tidak dimasukkan ke backup file:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCara kerjanya
- Pilih Ollama di halaman pemesanan server dan pilih paket dengan memori yang cukup.
- Aplikasi dipasang di server saat pertama kali dijalankan, biasanya dalam beberapa menit.
- Buka server di panel Anda: alamat dan detail login ada di sana.