להתחיל
כל אפליקציות ה-VPS
AI וסוכנים

Ollama: מודלי AI פתוחים על שרת משלכם

מודלי שפה שרצים על המעבד והזיכרון של השרת עצמו, עם צ׳אט ווב לשיחה איתם, כך שהפרומפטים לא נשלחים ל-API חיצוני.

להזמנת שרת עם Ollama לחבילות VPS

על Ollama

Ollama הוא כלי בקוד פתוח להורדה ולהרצה של מודלי שפה עם משקלים פתוחים בפקודה אחת. הספרייה שלו כוללת משפחות מודלים כמו Llama, ‏Gemma, ‏Mistral, ‏Qwen ו-DeepSeek בכמה גדלים, והוא חושף HTTP API פשוט שתוכנות אחרות יכולות לקרוא לו.

מפתחים משתמשים בו כדי לבנות אבות טיפוס של פיצ׳רים בלי עלות לכל טוקן, וחברות משתמשות בו כשטקסט אסור שייצא מהתשתית שלהן, למשל מסמכים פנימיים או נתוני לקוחות.

הרצה על שרת ולא על מחשב נייד הופכת את המודלים לזמינים לכל הצוות ולאפליקציות שלכם בכל שעה. המחיר הוא החומרה: גודל המודל מוגבל בזיכרון של השרת, ומהירות היצירה תלויה במעבד. המודלים נשמרים כקבצים בדיסק, כך שגם גודל הדיסק מגביל כמה מהם אפשר להחזיק.

למה משתמשים בזה

צ׳אט שאף פעם לא שולח נתונים החוצה

שאלו שאלות על טקסט רגיש בצ׳אט בדפדפן, בידיעה שהפרומפט מעובד על השרת שלכם.

מודל מאחורי האפליקציה שלכם

קראו למודל מצד השרת לסיכומים, לסיווג או לחילוץ מידע, בלי חשבון API על כל בקשה.

ניסוי מודלים פתוחים שונים

הורידו כמה מודלים והשוו איך הם מתמודדים עם המשימות האמיתיות שלכם לפני שאתם בוחרים.

אחרי ההזמנה

Ollama מותקן על השרת שלכם בהפעלה הראשונה יחד עם צ׳אט ווב בכתובת http://<כתובת השרת>:3000/; פורט 3000 פתוח בחומת האש. התחברו עם האימייל והסיסמה שמוצגים בלוח הבקרה של Rivervo. המודלים מורדים על השרת: לוח הבקרה מציג את הפקודה לכך (לדוגמה ollama pull llama3.2), ואחר כך המודל מופיע בצ׳אט.

בחירת מודל לשרת שלכם

גודל המודל שהשרת יכול להריץ תלוי בזיכרון. התיעוד של Ollama נותן הערכה גסה: לפחות 8 GB RAM למודלים של 7B, ‏16 GB למודלים של 13B ו-32 GB למודלים של 33B. בלי GPU המודל רץ על המעבד, כך שיותר ליבות פירושן תשובות מהירות יותר. הורידו מודל מהטרמינל, והוא יופיע ב-Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

דומיין משלכם ו-HTTPS ל-Open WebUI

כברירת מחדל Open WebUI עונה בכתובת ה-IP של השרת ב-HTTP רגיל. כדי לתת לו שם כמו ai.hachevra.co.il עם תעודה, צרו ב-DNS שלכם רשומת A לשם הזה שמפנה לכתובת ה-IPv4 של השרת, ואז הציבו לפניו את Caddy: ‏Caddy מקבל בעצמו תעודת Let's Encrypt חינמית ומחדש אותה. הפקודות למטה מיועדות ל-Ubuntu 24.04 שעליו רצים שרתי האפליקציות שלנו.

בלוח הבקרה, פתחו את פורטי TCP ‏80 ו-443 בחומת האש של השרת: Caddy צריך אותם כדי לקבל את תעודת Let's Encrypt ולהגיש את האתר.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

כשהדומיין עובד, כבר אין צורך בפורט 3000 הגולמי: בקובץ /opt/ollama/compose.yml שנו את "3000:…" ל-"127.0.0.1:3000:…", הריצו docker compose up -d והסירו את פורט 3000 מחומת האש. מעכשיו Open WebUI זמין רק דרך HTTPS.

עדכון Ollama

האימג׳ים בקובץ /opt/ollama/compose.yml נעולים על גרסאות מדויקות, כך ש-docker compose pull פשוט מוריד שוב את אותה גרסה. כדי לעדכן, שנו את הגרסה בשורה image: לגרסה הרצויה (קראו קודם את הערות הגרסה), ואז הורידו ויצרו מחדש את הקונטיינרים. הנתונים נשמרים ב-volumes של Docker ולא הולכים לאיבוד.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

גיבוי Ollama

בלוח הבקרה אפשר להפעיל גיבויים יומיים של השרת כולו (‎+20% ממחיר החבילה, נשמרים 7 העותקים האחרונים) ולשחזר את השרת מכל אחד מהם. עדיין כדאי להחזיק עותק של נתוני האפליקציה עצמה בקובץ: אפשר להעביר אותו לשרת אחר או לשחזר אותו בלי להחזיר את כל השאר לאחור.

השיחות, המשתמשים וההגדרות של Open WebUI נמצאים ב-volume ‏ollama_open_webui; המודלים שהורדו נמצאים ב-ollama_ollama ואפשר פשוט להוריד אותם שוב, ולכן בדרך כלל לא כוללים אותם בגיבוי הקבצים:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

איך זה עובד

  1. בחרו את Ollama בדף הזמנת השרת, ובחרו חבילה עם מספיק זיכרון.
  2. האפליקציה מותקנת על השרת בהפעלה הראשונה, בדרך כלל תוך כמה דקות.
  3. פתחו את השרת בלוח הבקרה: הכתובת ופרטי הכניסה נמצאים שם.

שאלות על Ollama

המינימום הוא 8 GB זיכרון ו-80 GB דיסק, וזה מספיק בנוחות למודלים קטנים של כמה מיליארדי פרמטרים. מודל צריך בערך כמות זיכרון פנוי כגודל הקובץ שלו, כך שמודלים גדולים יותר דורשים חבילה עם יותר זיכרון ודיסק.
המהירות תלויה בגודל המודל ובליבות המעבד של השרת. מודלים קטנים עונים בקצב שימושי; גדולים איטיים יותר באופן מורגש, לכן התחילו בקטן ועברו לגדול רק אם האיכות מחייבת זאת.
כן, הוא זמין גם בחבילות x86 וגם בחבילות ARM, ולכן ARM הוא אפשרות סבירה לעבודה עם מודלים שדורשים הרבה זיכרון.
ה-API של Ollama (פורט 11434) לא מפורסם בשרת, והוא נגיש רק מ-Open WebUI בתוך Docker. כדי לקרוא לו מהקוד שלכם, הריצו את הקוד על אותו שרת באותה רשת Docker, או פרסמו את הפורט כ-`"127.0.0.1:11434:11434"` והשתמשו במנהרת SSH. אל תפתחו אותו לאינטרנט: אין לו סיסמה.
ההרשמה כבויה (`ENABLE_SIGNUP: "false"`), כך שזרים לא יכולים להירשם. הוסיפו משתמשים בעצמכם בלוח הניהול של Open WebUI.

אפליקציות נוספות בקטגוריה AI וסוכנים