Mulakan
Semua aplikasi VPS
AI dan ejen

Ollama: model AI terbuka pada pelayan anda sendiri

Model bahasa yang berjalan pada pemproses dan memori pelayan itu sendiri, dengan sembang web untuk berbual dengannya, supaya prompt tidak dihantar ke API luar.

Pesan pelayan dengan Ollama Lihat pelan VPS

Tentang Ollama

Ollama ialah alat sumber terbuka untuk memuat turun dan menjalankan model bahasa berpemberat terbuka dengan satu arahan. Pustakanya merangkumi keluarga model seperti Llama, Gemma, Mistral, Qwen dan DeepSeek dalam beberapa saiz, dan ia menyediakan API HTTP ringkas yang boleh dipanggil oleh program lain.

Pembangun menggunakannya untuk membina prototaip ciri tanpa kos bagi setiap token, dan syarikat menggunakannya apabila teks tidak boleh keluar dari infrastruktur mereka sendiri, contohnya dokumen dalaman atau data pelanggan.

Menjalankannya pada pelayan dan bukannya komputer riba bermakna model tersedia untuk seluruh pasukan dan aplikasi anda pada bila-bila masa. Pertukarannya ialah perkakasan: saiz model dihadkan oleh memori pelayan, dan kelajuan penjanaan bergantung pada pemprosesnya. Model disimpan sebagai fail pada cakera, jadi saiz cakera juga mengehadkan bilangan model yang boleh anda simpan.

Kegunaan biasa

Sembang yang tidak pernah menghantar data keluar

Tanya soalan tentang teks sensitif dalam sembang pelayar, dengan kepastian bahawa prompt diproses pada pelayan anda.

Model di sebalik aplikasi anda sendiri

Panggil model dari bahagian belakang anda untuk ringkasan, pengelasan atau pengekstrakan, tanpa bil API bagi setiap permintaan.

Mencuba pelbagai model terbuka

Muat turun beberapa model dan bandingkan cara ia mengendalikan tugas sebenar anda sebelum memilih satu.

Selepas anda memesan

Ollama dipasang pada pelayan anda semasa ia mula-mula dihidupkan bersama sembang web di http://alamat-pelayan-anda:3000/; port 3000 dibuka dalam firewall. Log masuk dengan e-mel dan kata laluan yang ditunjukkan dalam panel Rivervo. Model dimuat turun pada pelayan: panel menunjukkan arahan untuknya (ollama pull llama3.2 sebagai contoh), dan model itu kemudian muncul dalam sembang.

Memilih model untuk pelayan anda

Saiz model yang boleh dijalankan oleh pelayan bergantung pada memori. Dokumentasi Ollama memberikan panduan kasar: sekurang-kurangnya 8 GB RAM untuk model 7B, 16 GB untuk model 13B dan 32 GB untuk model 33B. Tanpa GPU, model berjalan pada pemproses, jadi lebih banyak teras bermakna jawapan lebih pantas. Muat turun model dari shell, kemudian ia akan muncul dalam Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Domain anda sendiri dan HTTPS untuk Open WebUI

Secara lalai, Open WebUI menjawab pada alamat IP pelayan melalui HTTP biasa. Untuk memberikannya nama seperti ai.syarikatanda.com.my dengan sijil, cipta rekod A untuk nama itu yang menghala ke alamat IPv4 pelayan dalam DNS anda, kemudian letakkan Caddy di hadapannya: Caddy mendapatkan sijil Let's Encrypt percuma dengan sendirinya dan memperbaharuinya. Arahan di bawah adalah untuk Ubuntu 24.04 yang digunakan oleh pelayan aplikasi kami.

Dalam panel, buka port TCP 80 dan 443 dalam firewall pelayan: Caddy memerlukannya untuk mendapatkan sijil Let's Encrypt dan menyajikan laman.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Setelah domain berfungsi, port 3000 mentah tidak diperlukan lagi: dalam /opt/ollama/compose.yml tukar "3000:…" kepada "127.0.0.1:3000:…", jalankan docker compose up -d, dan buang port 3000 daripada firewall. Open WebUI kemudian hanya boleh dicapai melalui HTTPS.

Mengemas kini Ollama

Imej dalam /opt/ollama/compose.yml ditetapkan pada versi yang tepat, jadi docker compose pull biasa akan mengambil versi yang sama sekali lagi. Untuk mengemas kini, tukar versi dalam baris image: kepada versi yang anda mahu (baca nota keluaran dahulu), kemudian tarik imej dan cipta semula kontena. Data disimpan dalam volum Docker dan dikekalkan.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Sandaran Ollama

Dalam panel, anda boleh menghidupkan sandaran harian bagi keseluruhan pelayan (+20% daripada harga pelan, 7 salinan terakhir disimpan) dan memulihkan pelayan daripada mana-mana salinan tersebut. Salinan data aplikasi itu sendiri dalam fail tetap berguna: ia boleh dipindahkan ke pelayan lain atau dipulihkan tanpa mengembalikan semua yang lain.

Sembang, pengguna dan tetapan Open WebUI berada dalam volum ollama_open_webui; model yang dimuat turun berada dalam ollama_ollama dan boleh dimuat turun semula dengan mudah, jadi ia biasanya tidak dimasukkan dalam sandaran fail:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Cara ia berfungsi

  1. Pilih Ollama di halaman pesanan pelayan dan pilih pelan dengan memori yang mencukupi.
  2. Aplikasi dipasang pada pelayan semasa permulaan pertamanya, biasanya dalam beberapa minit.
  3. Buka pelayan dalam panel anda: alamat dan butiran log masuk ada di sana.

Soalan tentang Ollama

Memori 8 GB dan cakera 80 GB ialah keperluan minimum, yang cukup selesa untuk model kecil dengan beberapa bilion parameter. Model memerlukan memori kosong lebih kurang sama dengan saiz failnya, jadi model yang lebih besar memerlukan pelan dengan lebih banyak memori dan cakera.
Kelajuan bergantung pada saiz model dan teras pemproses pelayan. Model kecil menjawab pada kadar yang boleh digunakan; model besar jelas lebih perlahan, jadi mulakan dengan yang kecil dan naik hanya jika kualiti memerlukannya.
Ya, ia tersedia pada pelan x86 dan ARM, menjadikan ARM pilihan yang munasabah untuk kerja model yang banyak menggunakan memori.
API Ollama (port 11434) tidak didedahkan pada pelayan; ia hanya boleh dicapai dari Open WebUI di dalam Docker. Untuk memanggilnya dari kod anda sendiri, jalankan kod itu pada pelayan yang sama dalam rangkaian Docker yang sama, atau dedahkan port sebagai `"127.0.0.1:11434:11434"` dan gunakan terowong SSH. Jangan buka port ini kepada internet: ia tiada kata laluan.
Pendaftaran dimatikan (`ENABLE_SIGNUP: "false"`), jadi orang luar tidak boleh mendaftar. Tambahkan pengguna sendiri dalam panel pentadbir Open WebUI.