Ollama: model AI terbuka pada pelayan anda sendiri
Model bahasa yang berjalan pada pemproses dan memori pelayan itu sendiri, dengan sembang web untuk berbual dengannya, supaya prompt tidak dihantar ke API luar.
Tentang Ollama
Ollama ialah alat sumber terbuka untuk memuat turun dan menjalankan model bahasa berpemberat terbuka dengan satu arahan. Pustakanya merangkumi keluarga model seperti Llama, Gemma, Mistral, Qwen dan DeepSeek dalam beberapa saiz, dan ia menyediakan API HTTP ringkas yang boleh dipanggil oleh program lain.
Pembangun menggunakannya untuk membina prototaip ciri tanpa kos bagi setiap token, dan syarikat menggunakannya apabila teks tidak boleh keluar dari infrastruktur mereka sendiri, contohnya dokumen dalaman atau data pelanggan.
Menjalankannya pada pelayan dan bukannya komputer riba bermakna model tersedia untuk seluruh pasukan dan aplikasi anda pada bila-bila masa. Pertukarannya ialah perkakasan: saiz model dihadkan oleh memori pelayan, dan kelajuan penjanaan bergantung pada pemprosesnya. Model disimpan sebagai fail pada cakera, jadi saiz cakera juga mengehadkan bilangan model yang boleh anda simpan.
Kegunaan biasa
Sembang yang tidak pernah menghantar data keluar
Tanya soalan tentang teks sensitif dalam sembang pelayar, dengan kepastian bahawa prompt diproses pada pelayan anda.
Model di sebalik aplikasi anda sendiri
Panggil model dari bahagian belakang anda untuk ringkasan, pengelasan atau pengekstrakan, tanpa bil API bagi setiap permintaan.
Mencuba pelbagai model terbuka
Muat turun beberapa model dan bandingkan cara ia mengendalikan tugas sebenar anda sebelum memilih satu.
Selepas anda memesan
Ollama dipasang pada pelayan anda semasa ia mula-mula dihidupkan bersama sembang web di http://alamat-pelayan-anda:3000/; port 3000 dibuka dalam firewall. Log masuk dengan e-mel dan kata laluan yang ditunjukkan dalam panel Rivervo. Model dimuat turun pada pelayan: panel menunjukkan arahan untuknya (ollama pull llama3.2 sebagai contoh), dan model itu kemudian muncul dalam sembang.
Memilih model untuk pelayan anda
Saiz model yang boleh dijalankan oleh pelayan bergantung pada memori. Dokumentasi Ollama memberikan panduan kasar: sekurang-kurangnya 8 GB RAM untuk model 7B, 16 GB untuk model 13B dan 32 GB untuk model 33B. Tanpa GPU, model berjalan pada pemproses, jadi lebih banyak teras bermakna jawapan lebih pantas. Muat turun model dari shell, kemudian ia akan muncul dalam Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listDomain anda sendiri dan HTTPS untuk Open WebUI
Secara lalai, Open WebUI menjawab pada alamat IP pelayan melalui HTTP biasa. Untuk memberikannya nama seperti ai.syarikatanda.com.my dengan sijil, cipta rekod A untuk nama itu yang menghala ke alamat IPv4 pelayan dalam DNS anda, kemudian letakkan Caddy di hadapannya: Caddy mendapatkan sijil Let's Encrypt percuma dengan sendirinya dan memperbaharuinya. Arahan di bawah adalah untuk Ubuntu 24.04 yang digunakan oleh pelayan aplikasi kami.
Dalam panel, buka port TCP 80 dan 443 dalam firewall pelayan: Caddy memerlukannya untuk mendapatkan sijil Let's Encrypt dan menyajikan laman.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddySetelah domain berfungsi, port 3000 mentah tidak diperlukan lagi: dalam /opt/ollama/compose.yml tukar "3000:…" kepada "127.0.0.1:3000:…", jalankan docker compose up -d, dan buang port 3000 daripada firewall. Open WebUI kemudian hanya boleh dicapai melalui HTTPS.
Mengemas kini Ollama
Imej dalam /opt/ollama/compose.yml ditetapkan pada versi yang tepat, jadi docker compose pull biasa akan mengambil versi yang sama sekali lagi. Untuk mengemas kini, tukar versi dalam baris image: kepada versi yang anda mahu (baca nota keluaran dahulu), kemudian tarik imej dan cipta semula kontena. Data disimpan dalam volum Docker dan dikekalkan.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dSandaran Ollama
Dalam panel, anda boleh menghidupkan sandaran harian bagi keseluruhan pelayan (+20% daripada harga pelan, 7 salinan terakhir disimpan) dan memulihkan pelayan daripada mana-mana salinan tersebut. Salinan data aplikasi itu sendiri dalam fail tetap berguna: ia boleh dipindahkan ke pelayan lain atau dipulihkan tanpa mengembalikan semua yang lain.
Sembang, pengguna dan tetapan Open WebUI berada dalam volum ollama_open_webui; model yang dimuat turun berada dalam ollama_ollama dan boleh dimuat turun semula dengan mudah, jadi ia biasanya tidak dimasukkan dalam sandaran fail:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCara ia berfungsi
- Pilih Ollama di halaman pesanan pelayan dan pilih pelan dengan memori yang mencukupi.
- Aplikasi dipasang pada pelayan semasa permulaan pertamanya, biasanya dalam beberapa minit.
- Buka pelayan dalam panel anda: alamat dan butiran log masuk ada di sana.