Ollama: โมเดล AI แบบเปิดบนเซิร์ฟเวอร์ของคุณเอง
โมเดลภาษาที่ทำงานด้วยโปรเซสเซอร์และหน่วยความจำของเซิร์ฟเวอร์เอง พร้อมเว็บแชตสำหรับพูดคุย พรอมต์จึงไม่ถูกส่งไปยัง API ภายนอก
เกี่ยวกับ Ollama
Ollama คือเครื่องมือโอเพนซอร์สสำหรับดาวน์โหลดและรันโมเดลภาษาแบบ open-weight ด้วยคำสั่งเดียว คลังของ Ollama มีตระกูลโมเดลอย่าง Llama, Gemma, Mistral, Qwen และ DeepSeek ในหลายขนาด และมี HTTP API แบบเรียบง่ายที่โปรแกรมอื่นเรียกใช้ได้
นักพัฒนาใช้ Ollama เพื่อทดลองสร้างฟีเจอร์โดยไม่มีค่าใช้จ่ายต่อโทเค็น และบริษัทใช้เมื่อข้อความต้องไม่ออกนอกโครงสร้างพื้นฐานของตนเอง เช่น เอกสารภายในหรือข้อมูลลูกค้า
การรันบนเซิร์ฟเวอร์แทนแล็ปท็อปทำให้ทั้งทีมและแอปพลิเคชันของคุณใช้โมเดลได้ทุกเวลา ข้อแลกเปลี่ยนคือฮาร์ดแวร์ ขนาดโมเดลถูกจำกัดด้วยหน่วยความจำของเซิร์ฟเวอร์ และความเร็วในการสร้างคำตอบขึ้นอยู่กับโปรเซสเซอร์ โมเดลถูกเก็บเป็นไฟล์บนดิสก์ ขนาดดิสก์จึงจำกัดจำนวนโมเดลที่เก็บไว้ได้ด้วย
นำไปใช้ทำอะไรได้บ้าง
แชตที่ไม่ส่งข้อมูลออกไปภายนอก
ถามคำถามเกี่ยวกับข้อความที่เป็นความลับในแชตบนเบราว์เซอร์ได้อย่างมั่นใจ เพราะพรอมต์ถูกประมวลผลบนเซิร์ฟเวอร์ของคุณ
โมเดลเบื้องหลังแอปของคุณเอง
เรียกใช้โมเดลจากแบ็กเอนด์ของคุณเพื่อสรุป จัดหมวดหมู่ หรือดึงข้อมูล โดยไม่มีค่า API ต่อคำขอ
ลองใช้โมเดลแบบเปิดหลายตัว
ดึงโมเดลหลายตัวมาเปรียบเทียบว่าแต่ละตัวทำงานจริงของคุณได้ดีแค่ไหนก่อนเลือกใช้
หลังสั่งซื้อ
Ollama จะติดตั้งบนเซิร์ฟเวอร์ของคุณเมื่อเริ่มทำงานครั้งแรก พร้อมเว็บแชตที่ http://your-server-address:3000/ และเปิดพอร์ต 3000 ในไฟร์วอลล์ไว้ให้ เข้าสู่ระบบด้วยอีเมลและรหัสผ่านที่แสดงในแผงควบคุม Rivervo โมเดลจะดาวน์โหลดบนเซิร์ฟเวอร์ โดยแผงควบคุมแสดงคำสั่งสำหรับการนี้ (ตัวอย่างเช่น ollama pull llama3.2) จากนั้นโมเดลจะปรากฏในแชต
การเลือกโมเดลสำหรับเซิร์ฟเวอร์ของคุณ
ขนาดโมเดลที่เซิร์ฟเวอร์รันได้ขึ้นอยู่กับหน่วยความจำ เอกสารของ Ollama ให้แนวทางคร่าว ๆ ไว้ว่า ต้องมี RAM อย่างน้อย 8 GB สำหรับโมเดล 7B, 16 GB สำหรับโมเดล 13B และ 32 GB สำหรับโมเดล 33B หากไม่มี GPU โมเดลจะทำงานบนโปรเซสเซอร์ ยิ่งมีคอร์มากคำตอบก็ยิ่งเร็ว ดึงโมเดลจาก shell แล้วโมเดลจะปรากฏใน Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listโดเมนของคุณเองและ HTTPS สำหรับ Open WebUI
ค่าเริ่มต้นของ Open WebUI คือตอบผ่านที่อยู่ IP ของเซิร์ฟเวอร์ด้วย HTTP ธรรมดา หากต้องการใช้ชื่ออย่าง ai.example.com พร้อมใบรับรอง ให้สร้างระเบียน A สำหรับชื่อนั้นใน DNS ของคุณโดยชี้ไปที่ที่อยู่ IPv4 ของเซิร์ฟเวอร์ แล้ววาง Caddy ไว้ด้านหน้า Caddy จะขอใบรับรอง Let's Encrypt ฟรีและต่ออายุให้เอง คำสั่งด้านล่างใช้กับ Ubuntu 24.04 ที่เซิร์ฟเวอร์แอปของเราใช้งาน
ในแผงควบคุม ให้เปิดพอร์ต TCP 80 และ 443 ในไฟร์วอลล์ของเซิร์ฟเวอร์ Caddy ต้องใช้พอร์ตเหล่านี้เพื่อขอใบรับรอง Let's Encrypt และให้บริการเว็บไซต์
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyเมื่อโดเมนใช้งานได้แล้ว ก็ไม่จำเป็นต้องใช้พอร์ต 3000 โดยตรงอีก ในไฟล์ /opt/ollama/compose.yml ให้เปลี่ยน "3000:…" เป็น "127.0.0.1:3000:…" รัน docker compose up -d และลบพอร์ต 3000 ออกจากไฟร์วอลล์ จากนั้น Open WebUI จะเข้าถึงได้ผ่าน HTTPS เท่านั้น
การอัปเดต Ollama
อิมเมจใน /opt/ollama/compose.yml ถูกตรึงไว้ที่เวอร์ชันที่แน่นอน การรัน docker compose pull เพียงอย่างเดียวจึงดึงเวอร์ชันเดิมมาอีกครั้ง หากต้องการอัปเดต ให้เปลี่ยนเวอร์ชันในบรรทัด image: เป็นเวอร์ชันที่ต้องการ (อ่าน release notes ก่อน) จากนั้นดึงอิมเมจและสร้างคอนเทนเนอร์ใหม่ ข้อมูลอยู่ใน Docker volume และจะไม่สูญหาย
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dการสำรองข้อมูล Ollama
ในแผงควบคุม คุณเปิดการสำรองข้อมูลทั้งเซิร์ฟเวอร์ทุกวันได้ (+20% ของราคาแพ็กเกจ เก็บ 7 ชุดล่าสุด) และกู้คืนเซิร์ฟเวอร์จากชุดใดก็ได้ แต่ยังควรมีสำเนาข้อมูลของแอปเป็นไฟล์ไว้ด้วย เพราะย้ายไปเซิร์ฟเวอร์อื่นหรือกู้คืนได้โดยไม่ต้องย้อนกลับทุกอย่าง
แชต ผู้ใช้ และการตั้งค่าของ Open WebUI อยู่ใน volume ollama_open_webui ส่วนโมเดลที่ดาวน์โหลดมาอยู่ใน ollama_ollama และดึงใหม่ได้เสมอ จึงมักไม่รวมไว้ในการสำรองไฟล์:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startวิธีการทำงาน
- เลือก Ollama ในหน้าสั่งซื้อเซิร์ฟเวอร์ และเลือกแพ็กเกจที่มีหน่วยความจำเพียงพอ
- แอปจะถูกติดตั้งบนเซิร์ฟเวอร์เมื่อเริ่มทำงานครั้งแรก โดยปกติภายในไม่กี่นาที
- เปิดเซิร์ฟเวอร์ในแผงควบคุมของคุณ ที่อยู่และข้อมูลเข้าสู่ระบบอยู่ที่นั่น