Ollama: מודלי AI פתוחים על שרת משלכם
מודלי שפה שרצים על המעבד והזיכרון של השרת עצמו, עם צ׳אט ווב לשיחה איתם, כך שהפרומפטים לא נשלחים ל-API חיצוני.
על Ollama
Ollama הוא כלי בקוד פתוח להורדה ולהרצה של מודלי שפה עם משקלים פתוחים בפקודה אחת. הספרייה שלו כוללת משפחות מודלים כמו Llama, Gemma, Mistral, Qwen ו-DeepSeek בכמה גדלים, והוא חושף HTTP API פשוט שתוכנות אחרות יכולות לקרוא לו.
מפתחים משתמשים בו כדי לבנות אבות טיפוס של פיצ׳רים בלי עלות לכל טוקן, וחברות משתמשות בו כשטקסט אסור שייצא מהתשתית שלהן, למשל מסמכים פנימיים או נתוני לקוחות.
הרצה על שרת ולא על מחשב נייד הופכת את המודלים לזמינים לכל הצוות ולאפליקציות שלכם בכל שעה. המחיר הוא החומרה: גודל המודל מוגבל בזיכרון של השרת, ומהירות היצירה תלויה במעבד. המודלים נשמרים כקבצים בדיסק, כך שגם גודל הדיסק מגביל כמה מהם אפשר להחזיק.
למה משתמשים בזה
צ׳אט שאף פעם לא שולח נתונים החוצה
שאלו שאלות על טקסט רגיש בצ׳אט בדפדפן, בידיעה שהפרומפט מעובד על השרת שלכם.
מודל מאחורי האפליקציה שלכם
קראו למודל מצד השרת לסיכומים, לסיווג או לחילוץ מידע, בלי חשבון API על כל בקשה.
ניסוי מודלים פתוחים שונים
הורידו כמה מודלים והשוו איך הם מתמודדים עם המשימות האמיתיות שלכם לפני שאתם בוחרים.
אחרי ההזמנה
Ollama מותקן על השרת שלכם בהפעלה הראשונה יחד עם צ׳אט ווב בכתובת http://<כתובת השרת>:3000/; פורט 3000 פתוח בחומת האש. התחברו עם האימייל והסיסמה שמוצגים בלוח הבקרה של Rivervo. המודלים מורדים על השרת: לוח הבקרה מציג את הפקודה לכך (לדוגמה ollama pull llama3.2), ואחר כך המודל מופיע בצ׳אט.
בחירת מודל לשרת שלכם
גודל המודל שהשרת יכול להריץ תלוי בזיכרון. התיעוד של Ollama נותן הערכה גסה: לפחות 8 GB RAM למודלים של 7B, 16 GB למודלים של 13B ו-32 GB למודלים של 33B. בלי GPU המודל רץ על המעבד, כך שיותר ליבות פירושן תשובות מהירות יותר. הורידו מודל מהטרמינל, והוא יופיע ב-Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listדומיין משלכם ו-HTTPS ל-Open WebUI
כברירת מחדל Open WebUI עונה בכתובת ה-IP של השרת ב-HTTP רגיל. כדי לתת לו שם כמו ai.hachevra.co.il עם תעודה, צרו ב-DNS שלכם רשומת A לשם הזה שמפנה לכתובת ה-IPv4 של השרת, ואז הציבו לפניו את Caddy: Caddy מקבל בעצמו תעודת Let's Encrypt חינמית ומחדש אותה. הפקודות למטה מיועדות ל-Ubuntu 24.04 שעליו רצים שרתי האפליקציות שלנו.
בלוח הבקרה, פתחו את פורטי TCP 80 ו-443 בחומת האש של השרת: Caddy צריך אותם כדי לקבל את תעודת Let's Encrypt ולהגיש את האתר.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyכשהדומיין עובד, כבר אין צורך בפורט 3000 הגולמי: בקובץ /opt/ollama/compose.yml שנו את "3000:…" ל-"127.0.0.1:3000:…", הריצו docker compose up -d והסירו את פורט 3000 מחומת האש. מעכשיו Open WebUI זמין רק דרך HTTPS.
עדכון Ollama
האימג׳ים בקובץ /opt/ollama/compose.yml נעולים על גרסאות מדויקות, כך ש-docker compose pull פשוט מוריד שוב את אותה גרסה. כדי לעדכן, שנו את הגרסה בשורה image: לגרסה הרצויה (קראו קודם את הערות הגרסה), ואז הורידו ויצרו מחדש את הקונטיינרים. הנתונים נשמרים ב-volumes של Docker ולא הולכים לאיבוד.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dגיבוי Ollama
בלוח הבקרה אפשר להפעיל גיבויים יומיים של השרת כולו (+20% ממחיר החבילה, נשמרים 7 העותקים האחרונים) ולשחזר את השרת מכל אחד מהם. עדיין כדאי להחזיק עותק של נתוני האפליקציה עצמה בקובץ: אפשר להעביר אותו לשרת אחר או לשחזר אותו בלי להחזיר את כל השאר לאחור.
השיחות, המשתמשים וההגדרות של Open WebUI נמצאים ב-volume ollama_open_webui; המודלים שהורדו נמצאים ב-ollama_ollama ואפשר פשוט להוריד אותם שוב, ולכן בדרך כלל לא כוללים אותם בגיבוי הקבצים:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startאיך זה עובד
- בחרו את Ollama בדף הזמנת השרת, ובחרו חבילה עם מספיק זיכרון.
- האפליקציה מותקנת על השרת בהפעלה הראשונה, בדרך כלל תוך כמה דקות.
- פתחו את השרת בלוח הבקרה: הכתובת ופרטי הכניסה נמצאים שם.